最新消息:

利用好robots,让搜索引擎更加喜欢你

SEO优化 李金龙 1875浏览 0评论

昨天落水鱼又把自己的博客robots.txt给修改了一下,这样做的目的是,让搜索引擎看来网站更规范和权威。

1、用robots.txt屏蔽相似的页面或没内容的页面。
我们知道,搜索引擎收录网页后,会对网页进行“审核”,当网页的相似度很高时,会删除其中一个。
比如以下这两个链接,内容其实差不多,所以第二个链接应该屏蔽。
http://www.lijinlong.com/seo/638
http://www.lijinlong.com/archivers/p638.html
第二个的链接非常多,屏蔽时,只要屏蔽/archivers 就屏蔽了所有的。
代码如:Disallow: /archivers

2、用robots.txt屏蔽多余的链接,当动态和静态共存时,一般去掉动态的。
网站中经常会存在多个链接指向同一个页面,这种情况普遍存在时,会让搜索引擎对网站的权威性产生怀疑,要把不重要的链接全部屏蔽掉!

3、用robots.txt屏蔽死链接。
死链接就是原来存在,后来因为改版或更新等缘故删除了的链接和网页。
比如,原来在某个目录(假设目录为/tempweb/)下的所有链接,因为改版现在都变为死链接了,可以用robots.txt屏蔽。
代码如:Disallow: /tempweb/

4、用robots.txt屏蔽可能存在的“被K”外部链接。
很多网站允许用户放自己的网站链接,但因为过多的“被K”外部链接可能连累自己。
所以,我们把所有外部链接放入一个链接目录下,然后通过robots.txt统一屏蔽。

如果你对Disallow:的具体操作办法不是很清楚,你可以在百度官方提供的robots.txt使用指南学习:http://www.baidu.com/search/robots.html

PS:顺便说下哈,经过上次修改robots.txt,google已经重新收录我的网站300多页了!

转载请注明: » 利用好robots,让搜索引擎更加喜欢你

发表我的评论
取消评论

表情

网友最新评论 (10)

  1. 这个利用好 很不错的
    猪猪懒人窝9年前 (2010-11-01)
  2. 我看百度的搜索结果无数重复的~~~看来百度对这卡的不严啊~
    malgb9年前 (2010-11-02)
  3. 呵呵 网址太多了可以弄弄
    晴天9年前 (2010-11-02)
  4. 恭喜博主啊,百度虽然在不断的完善自己的算法,但还是有空子可以钻的,而且越完善就越有规律可循。
    赫赛汀9年前 (2010-11-02)
  5. 你帮我看看我的robots有什么问题没有?
    yesureadmin9年前 (2010-11-03)
  6. @malgb: 卡的还是比较严的!这个对百度是有用的!
    落水鱼9年前 (2010-11-04)
  7. @赫赛汀: 这个似乎不是钻空子吧,这是把网站标准化吧!
    落水鱼9年前 (2010-11-04)
  8. @yesureadmin: 没有啥问题啊,我在网上也看到过你的那个!
    落水鱼9年前 (2010-11-04)
  9. robots里可以加上网站地图
    迷茫9年前 (2010-11-10)
  10. @迷茫: 嗯,是的
    落水鱼9年前 (2010-11-10)