SEO名词

robots.txt和noindex的区别

发布日期:2015-09-30

访问次数:148次

之前的文章,我们讲了什么是robots,什么是noindex,以及robots和noindex的区别是什么?今天我们重温下robots.txt和noindex的区别。在禁止蜘蛛抓取和收录网页方面,会用到robots.txt和noindex,robots.txt和noindex究竟有什么区别呢?我这里简单的分享下。


robots.txt和noindex究竟有什么区别

1、robots.txt文件是放在网站根目录下面的,不是禁止索引,也就是说,并不一定这张页面不被索引,只是不显示页面的快照而已;robots.txt真正的作用只是禁止抓取页面。

2、noindex是在写页面meta中,告诉搜索引擎,这张页面不要索引,但是可以抓取这张页面。

从上面2点可以看出,其实robots.txt和noindex的作用是相反的,也就是说,你使用其中任何一直,你都不能完全的不让蜘蛛访问你的网站,要想不让蜘蛛抓取和索引你的网站的方法就是:robots.txt屏蔽蜘蛛抓取,用noindex屏蔽蜘蛛索引,两者一起用。

本文标签:noindexrobots协议robots

上一篇:什么是物理结构和链接结构

下一篇:h1标签是什么