1、robots协议是什么
robots协议也叫 robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
2、robots协议怎么写
因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。
User-agent: *
Disallow:
allow:
"*"和"$"的含义
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。
"*" 匹配0或多个任意字符。
对于一般企业可以这样的去写，在Disallow掉不想被搜索引擎抓取的文件即可，比如我们的网站数据，图片等等。
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
今天大概总结一下：首先说明一点：每天百度派出的蜘蛛是有限的，robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录！
当我们的网站上线之后，一定会有一些不想让百度抓取的页面、文件，针对这种问题，我们就要使用协议去屏蔽。那么这个协议是什么？究竟怎么写这个协议呢？
曾庆平SEO在前面的文章中讲过robots.txt概念的时候，留下一个问题：为什么曾庆平SEO的robots.txt写得那么复杂?曾庆平SEO的robots.txt：http://www.xxx.com/robots.txt这样做的目的是，让搜索引擎看来网站更规范和权威。
如果以上都没有错误，那么你就要检查你的CDN了，很可能是因为CDN缓存而造成的，或者是你配置了https，而站长平台却绑定的http，无法访问，这两点自己排查，如果以上都做到，那么是不会提示这类错误的，当然也不排查百度站长平台本身的问题，不过这种机率性很小。
网站优化过程非常容易忽视的一个就是robots文件，因为如果网站彻底不做robots文件好像也没有多大影响，但不做好这个文件，引起的问题可不能小视。
