当前位置:首页 >  站长 >  搜索优化 >  正文

robots是什么,robots怎么写?

 2015-05-13 21:49  来源: 互联网   我来投稿 撤稿纠错

  域名预订/竞价,好“米”不错过

深入认识robots

搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。Spider在访问一个网站时,会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站上创建一个robots.txt,在文件中声明改网站中哪些目录不让搜索引擎收录。(robots.txt文件应该放置在网站根目录下。)

1、robots的用法

User-agent:定义进制搜索引擎名字,比如说:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎

Disallow:不允许收录

Allow:允许收录

案例:

User-agent: * (声明禁止所有的搜索引擎抓取以下内容)

Disallow:/blog/(禁止网站blog栏目下所有的页面。比如说:/blog/123.html)

Disallow:/api(比如说:/apifsdfds/123.html也会被屏蔽。)

Allow:/blog/12/(一般情况下不需要写Allow的,而我们在禁止的目录下面,我们需要让搜索引擎收录,那么我们就可以使用Allow,比如说我们前面禁止了blog栏目下所有的页面,同时我们想/12/栏目下被收录,这个时候我们就需要通过Allow来允许搜索引擎的收录。)

Disallow:*?*(只要你的路径里面带有问号的路径,那么这条路径将会被屏蔽。比如说:将会被屏蔽。)

Disallow:/*.php$(意思是以.php结尾的路径全部屏蔽掉。)

如何使用Robots提升排名

一、屏蔽死链接

许多时候,我们网站会产生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots来屏蔽这些死链接。查看死链的方法有以下两种:

1、)通过网站日志查询。

我们可以通过下载网站日志来查看我们的404页面(网站日志可以向空间商要,空间商会提供下载通道),我们用txt打开网站日志,通过搜索“404”,如果你网站有404页面,并且被访问到了,那么这个时候就会被网站日志给记录。

2、)百度站长平台查询

我们首先需要验证百度站长平台(如何验证就不说了,最基本的。)验证以后,我们通过百度站长工具的死链工具,可以清楚的看到,我们网站有哪些死链接。

二、屏蔽无价值的页面

许多网站都有一些没有价值的页面,比如说SEO指导中心的用户个人中心页面,这个个人中心页面不会对网站产生价值,在百度上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。又比如说:一个企业网站的联系我们页面,这种页面不会给网站带来权重,用户也不会去搜索“联系我们”来找他想要的产品。因此我们需要把这种页面同时屏蔽。

三、屏蔽重复路径

当你网站出现重复路径的时候,百度将会对我们的网站进行直接降分,比如说:一个网站做了伪静态,同时他的动态页面也可以访问,这个时候就会出现重复路径。因此我们需要通过robots屏蔽这些重复路径。

总结:也许很多人都不知道,许多细节都很有可能是你网站排名不上的原因,而这些小小的细节往往被大家给忽略了。同时希望站长在做网站优化的时候多多关注一些网站细节的问题。

SEO专题推荐:

关键词优化专题:网站关键词优化没效果?来这里学习最实用的关键词优化技巧!

内链优化专题:最能提升网站权重的内链部署优化技巧与方法

外链建设专题:高质量自然外链怎么做?读完这些你将质的飞跃

网站降权专题:2015年最有用的网站降权、被K、被黑、被攻击的解决方法

用户体验专题:学习完这些,作为站长的你可以秒懂如何做网站用户体验

行业网站专题:优化行业网站的“葵花宝典”看完后无优化压力

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
robots标签

相关文章

  • robots具体应该禁止些什么文件

    今天大概总结一下:首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

  • 你不知道的robots文件那些事

    实际上百度只是担心由于网站管理员不懂得robots.txt语法,导致搜索引擎蜘蛛无法正常抓取网站,才这样写的。建立robots.txt文件还是必需的,哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录,同时也会被其他搜索引擎收录,上传一个空白的robo

    标签:
    robots标签
    robots
  • 解除网站Robots封禁全过程

    obots协议或者说robots文件对搜索引擎优化中非常重要,但设置出错可能会导致收录下降或不能正常收录。今天,小小课堂SEO自学网带来的是《【robots文件协议】解除Robots封禁全过程》。希望本次的百度SEO优化培训对大家有所帮助。

  • 熊掌号必备seo知识1:robots文件

    最近很多站长咨询关于熊掌号的问题,包括熊掌号和传统seo之间的关系等,熊掌号在给网站提供更多的品牌特型、内容保护之外,是否会遵循seo的基础原理呢?曲曲小姐姐将在以后给大家逐一分享。

  • 网站上线前把robots写了所有蜘蛛禁止抓取,取消后还是这样怎么办

    不知道有没有其他站长跟我一样,技术部把网站后台搭建好了,然后网站还是很多东西需要修改的,特别是TDK改了一遍又一遍,但是这时候我没有去百度站长申请闭站保护,却是在网站根目录上传了robots文件,里面写着:User-agent:*Disallow:/这表示我的网站禁止所有蜘蛛来抓取,那么这种情况有什

    标签:
    robots标签
    robots

热门排行

信息推荐