如何不让蜘蛛抓取重复的页面？想要蜘蛛不抓取重复页面，有效的方法就是不给这些页面提供链接入口，这样会减少蜘蛛抓取。另外，如果减少这些页面的内容更新，那么也会降低抓取。

大家之所以问到如何不让蜘蛛抓取重复的页面，其目的是想把这些抓取份额转移到其他的页面上，促进其他的页面收录。但是，有两个问题大家首先要搞清楚：

一、为什么蜘蛛喜欢重复抓取这些重复的页面

1、页面内容质量高

对于质量高的页面，搜索引擎更喜欢去抓取！如果蜘蛛喜欢抓取这些页面，在某种程度上说，搜索引擎对页面的内容是比较认可的，我们可以重点去分析其中的原因。

2、页面内容更新频繁

页面内容的更新程度，也会影响到蜘蛛抓取。大家可以去看看那些被频繁抓取的页面，很多更新会比较频繁。

二、为什么其他的页面收录情况不佳

前面说到了为什么有些页面容易被重复抓取，那么为什么有些页面就得不到蜘蛛抓取，得不到收录呢？原因也有好几个：

1、页面缺乏链接入口，如果页面没有链接入口，就很难得到蜘蛛抓取，也就世界影响到收录了。

2、页面内容质量太差，这在蜘蛛抓取的阶段就被抛弃了，蜘蛛也不会多次来抓取。

3、页面内容缺少更新，这里的更新包括更新相关文章，更新评论等等，如果页面更新慢、更新少，搜索蜘蛛也不会反复抓取。

前面说到了有关页面抓取和收录的问题，我们再来看如何不让蜘蛛抓取重复的页面！很显然，这个问题问得就不对，蜘蛛重复抓取页面，表面页面的整体质量度高，这样百度快照更新快，也容易得到关键词排名。

对于这样的页面，我们为什么要刻意减少蜘蛛抓取呢？反观那些不容易被抓取，或者抓取不多的页面，我们需要去分析其中的原因，而不是强行想着把其他页面抓取的份额分配过来。

关于如何不让蜘蛛抓取重复的页面，笔者就简单的说到这里。总之来说，想要减少蜘蛛抓取还是有方法的，比如说减少链接入口，比如说降低页面更新的频率和幅度等，这些都能有效降低蜘蛛抓取。

但是，笔者认为我们没有必要这么做，而是应该去分析这些页面能够得到蜘蛛青睐的原因，然后把其中的方法技巧使用到其他的页面上，这样就能够促进其他页面的抓取和收录。

在网站优化过程中有很多的细节需要注意，比如说本文说到的死链问题，很多新手对死链的概念理解不深，不知道具体死链接是什么，也不知道死链接怎么处理、为了让大家能够更好的做seo，本文就给大家介绍下死链接的问题。

一、死链接是什么

死链接是网站建设中的专业术语，也就是无效链接，就是那些不可达到的链接。就是原来本来可以正常访问的链接，后来由于一些原因导致失效的链接。死链接发送请求时，服务器返回404页面。

造成死链接的具体原因如下：

网站中的某个文件或网页移动了位置，导致指向它的链接变成死链接；网页内容更新并换成其他的链接，原来的链接变成死链接。

在上传程序时未正确地链接至文件存放目录，造成超链接地址不再正确。

重新更换了网站的目录，而未对相应的链接进行更换导致产生死链接。

将空间、服务器里面的相应页面删除了，造成死链接。

网站的页面更新成了其他的链接（比如域名的更换），直接导致死链接。

二、死链接怎么处理

1、做301重定向

如果网站改版中出现URL规则修改，那么之前的连接就会变成死链接，此时需要做301跳转；wordpress后台有301跳转插件，死链接数量少的时候，直接在后台填写url对就行，死链接数量多的话可以只做一个csv的文档，上传到301工具来批量处理。

2、制作404页面

当网站出现死链接的时候，url的http状态码将会变成404状态，那么为什么还要只做404页面呢？这样做的好处在于即使客户没找到想要的页面，但是通过合理的404页面设计，可以引导客户访问网站其他页面，减少客户的流失和增加网站的访问pv；在404页面设计一个小游戏或者好玩的flash，可以增加页面停留时间，另一方面对蜘蛛来说也很友好，可谓一举多得。

3、向搜索引擎站长后台提交死链

向搜索引擎站长后台提交死链之前需要做一下准备工作，就是将检测出来的死链接做成txt文本或者xml地图的形式，上传到网站根目录，之后在站长后台提交死链接的url路径，接下来等待搜索引擎对于网站死链接的更新就好。拿百度站长后台为例：

4、用Robots文件禁止蜘蛛对网站死链接的抓取

这种方法适用于robots文件较少的时候，例如可以写成：Disallow:http://域名/404.html。

5、在搜索引擎投诉快照

这种方法和第三种方法的作用一样，都是加快搜索引擎对网站死链接的处理速度，减少网站死链接的累积，例如在搜索结果中，对着“百度快照”点右键就能获取这条网站死链接的百度快照，随后在百度投诉中心的“快照删除与更新”中提交网站死链接的百度快照即可。

关于死链接的问题，本文重点介绍了死链接是什么，以及死链接怎么处理。简单的说死链接就是不能打开的页面，这些页面之前是可以正常打开的，但是因为网站改版等原因，导致现在不能正常打开。

死链接对于客户体验是不优化的，因此需要处理，至于具体怎么处理，大家可以参考本文提到的四个方法。

为什么优化的关键词没排名，不优化的反而有排名？你去重点优化的关键词表面竞争大，而没有刻意优化的关键词，竞争难度相对较小，所以有关键词排名是正常的。

另外，只要网站的主题不是分散的，关键词之间就都是相互联系的，在网站优化过程中，虽然没有针对某些词做优化，但客观上能够促进这些词的排名。所以这种优化的关键词没排名不优化的反而有排名，就是正常情况。

笔者认为，大家可以换个角度来思考，为什么这些没有刻意优化的词能够有好的排名呢？是不是页面内容的相关系强、是不是页面的关键词密度好、是不是页面内容的维度符合客户需求……搜索引擎判断关键词的排序是基于综合分析的，不会随随便便页面上去。

所以，我们不妨进行对比下，看看重点优化的词，和没有刻意优化的词，它们在页面上有怎样的区别。如果能够找到其中的原因，相信对于后续的优化有重要的知道作用。

在关键词优化上，除了客观上的竞争难度，还需要注意到是否有优化过度的嫌疑。比如说有些朋友为了让关键词尽快有好的排名，就在页面标题增加关键词的密度，这样就触犯了搜索引擎算法，导致被惩罚。比如有些朋友仅仅是为了增加排名，而不去分析客户体验，导致客户体验极差，这样页面最终的排名也是上不去的。

关于优化的关键词没排名，不优化的反而有排名这个问题，笔者就简要的说这么多。总之来说，关键词的排名是搜索引擎通过综合计算得到的结果，重点优化的关键词没有排名，原因在综合计算上数值相对太低。而那些没有优化过的关键词能够有好的排名，则是在各个方面更加符合搜索引擎和客户的判断。

因此，大家要多研究搜索引擎工作原理，以及客户的真正需求，从根本上去确保页面的质量度，再配合使用其他的seo技巧，以求关键词的排名更好。

新站优化步骤是怎么样的？新站优化的步骤应该是这样的：确定网站架构、确定优化页面类型、分析客户需求且进行关键词挖掘、网站内容建设、外链建设、数据分析和seo策略调整。

新站优化第一步、确定网站架构

网站架构关系到整个网站关键词的布局，所以在前期的时候就应该处理好，这样后续的网站优化才能更好的进行。

新站优化第二步、确定优化页面类型

页面类型包含了很多，例如网站首页、分类页和tag聚合页、产品页和文章页、其他类型的聚合页面等等。页面类型要根据行业特点和网站特点来，比如说普通的企业网站，就用普通的首页、产品和文章分类、产品和文章的详情页这些页面类型就成。但如果是大的流量网站，那么页面类型就要丰富很多，具体情况视网站而定。

新站优化第三步、分析客户需求且进行关键词挖掘

在确定网站结构和页面类型之后，就需要去挖掘关键词，当然很多朋友也会把客户需求分析和关键词挖掘放在第一步。总之来说这个步骤很重要，它关系到后续内容建设的情况，客户需求和关键词搞定以后，后续的内容建设就能有的放矢了。

新站优化第四步、网站内容建设

经过前面的几个步骤，接下来就是具体的内容建设了。对于新站而言，内容建设是最为重要的，大家需要记住内容为王的原则，要持续不断的去更新优质的内容，这样新站才能更快的起来。如果网站的内容不合格的话，新站想要有稳定的排名，就需要比较长的时间。

新站优化第五步、外链建设

在更新了内容之后，可以适当的发下外链，吸引下蜘蛛抓取，这对于网站收录有帮助。但大家要正确认识外链的作用，不要把新站优化的关键放在外链上，要记住新站seo内容才是最重要的，外链只能起到辅助的作用。

新站优化第六步、数据分析和seo策略调整

数据分析包括蜘蛛爬行和抓取的数据，以及页面收录和关键词排名等等。另外就要是根据分析得到的结果，适当的去调整seo计划，毕竟网站优化过程中会出现诸多问题，最先制作的seo方案也需要及时调整。

关于新站优化的问题，本文简要的说了六个步骤，这些步骤基本是通用的，不管是企业网站还是流量网站，按照这样的步骤去做基本不会有错。

但是步骤是死的，我们需要灵活去运用和调整，这样才能确保整个优化过程能够有效的进行。

新站一开始就需要大量发文章吗？新站更新量的问题，要根据网站的情况而定。如果想要做成大规模的行业网站、流量网站，那么开始的时候大量更新是可以的；但是如果只是企业网站，前期就不用更新大量更新。

总之新站更新内容的数量，需要根据挖掘出来的关键词数量来，比如说我们有10万+的关键词，并且seo编辑人手够的话，那么每天就可以多更新，比如更新几十到几百篇；如果关键词的数量只有几千，甚至更少，那么前期更新的量就要少很多。

这里要提醒大家注意，我们做网站内容更新需要有长远的规划。因为网站优化需要持续的更新，如果行业内容总量少的话，我们前期更新了大量内容，后续的更新就要乏力了，这对于seo来说是不利的。

举个简单的例子，我们暂时挖掘到10000个关键词，能够制作出9000篇的文章，那么以3个月的时间为阶段，总计就是900天，每天更新10篇左右的文章就可以了。我们要知道网站优化是长期的工作，不能说今天更新几百篇文章，明天后台就不更新了，所以一定要注意规划。

很多朋友没有做好内容规划，在前期内容相对好做的情况下，一不小心就更新了几百上千篇文章。但是到了后面就会发现更新乏力了，这样对于新站seo来说是不利的。

关于新站一开始是否需要大量发文章的问题，笔者就简单的说这么做。总之来说，如果是正常的优化，不建议一开始就更新大量文章，而是要做好内容更新的规划。

要做到让新站的优化能够持续有效的进行，持续的内容更新能够让新站的权重保持稳步上升。如果是虎头蛇尾，就会影响到网站权重了。至于具体更新多少内容，大家可以根据自己网站的特点来，没有固定的更新数量。

内链过多会影响到核心关键词排名吗？原则上，内链过多不会影响到核心词的排名，相反合理的内链还有利于网站权重的提升，进而有利于促进核心关键词排名。

有些朋友认为，内容页面不能有太多的链接。这种说法笔者认为需要具体分析：如果设置的内链是没有必要的，这样的链接多了就会有负面作用；但是如果内容页面里面出现的链接是合理的，那么这样的内链多几个也是可以的。

关于内链优化的问题，笔者在很多seo基础教程里都说到过，大家可以都去看看。这里再简单的重复下，我们在优化锚文本内链的时候，最基本的原则就是让内链出现得合理。

我们为什么要设置内链？最根本的应该是从客户体验的角度出发，让客户能够更加方便的去浏览想要了解的内容，如果能做到这样，那么即便一篇文章里有10个内链，也是可以的。

再说回到核心词排名的问题，我们要知道搜索引擎在判断的时候，页面本身的权重和导出链接有不同的标准，页面导出链接的数量不会分散本页面的权重。比如说A页面的权重值是30，页面有10个导出链接和20个导出链接，都不会让30这个权重值有所变化。

相反，如果设置的内链合理，还能够增加页面的相关性，进而提升本页面的权重值。当然，如果设置的内链是无关的，那么设置得越多，负面作用就越大。

关于内链过多是否会会影响到核心关键词排名的问题，笔者就简要的说这么多。总之来说，内链设置的多少不会影响到核心关键词排名。但是在做内链优化的时候，务必要注意相关性，要注意是否对客户有帮助。

如果设置的内链能够帮助客户找到更多的相关内容，那就不需要在意数量的问题。反之如果设置的内链没有相关性，即便数量不多，也会影响到本页面的质量度，进行影响到核心关键词排名。

现在的seo是内容为王的时代，为此很多朋友坚持以原创为主，但是其中就会遇到一个问题，那就是自己的原创文章被别人直接抄袭过去。更让人气愤的是，对方的关键词排名还很好，自己网站的原创文章却没有排名！这是为什么呢？本文笔者就简要的跟大家解释下。

首先要明白，搜索引擎不能完全识别原创内容的，之前熊掌号推出了原创保护功能，但是后面取消了，可以看到想要做到真正的原创保护，难度是很大的。那么为什么抄袭的文章比原创文章排名好很多呢？这里涉及到权重和整合。

一、高权重的网站抄袭的内容排名也会好

百度搜索在曾经的说明中有提到，同样的内容如果能够让更多的人看到，那么它的排名就优先。比如说同样的一篇文章，发在新浪跟发在一个小的博客网站，哪里的直接受众更多呢？很明显是新浪了，这种情况下，搜索引擎会优先考虑让新浪的内容有好的排名。

另外就是权重的问题，搜索引擎计算页面排名是综合计算的，网站权重高的其内页获得的基础权重也高，因此也就能获得更好的排名。

在大站和小站的区分上，其实还有客户行为数据的区别，小站所能统计到的客户会少，因此对于客户需求的满足度不太好计算。反之，大网站的受众多，更加能反映出客户的认可度。

所以，如果大站或者是权重高的网站，去抄袭权值低的网站的内容，在排名上抄袭的内容就会比原创内容好。

二、整合的内容排名相对会更好

比如A网站更新了一篇原创内容，而B网站复制粘贴过去，并且通过分词等方式，额外调用了更多相关文章，这些相关内容能够满足客户更多相关需求。在这样的情况下，即便是抄袭的内容，但是对于客户来说更加有用，那么排名自然也就会更好。

因此，我们就需要注意页面结构以及相关内容的调用，通过内容整合，能够让我们的原创文章质量更高。

关于为什么抄袭的文章比原创文章排名好很多的问题，笔者就简单的说这么多。总之来说，搜索引擎不会因为文章是原创的，就给与最好的排名。

搜索引擎判断页面排名是综合计算的，想要原创文章有好的排名，需要不断提升网站的整体权重，同时也要注意通过内容整合，以便让原创文章所在页面的质量度更高。当然，客户体验也是需要不断优化的。

收录的长尾词文章没有排名要不要重新写？谁也不能确保收录的文章就一定要好的关键词排名，即便没有任何排名也是常见的情况，因为关键词排名涉及到很多方面的因素，而时间就是其中之一。

暂时没有关键词排名，可能是搜索引擎还没有更新，也可能是网站权重还比较差。

我们需要理解页面收录的真正含义，不能强求所有的关键词文章都能有排名，即便是百度自己的页面，也不见得都是有排名的。所以，我们需要理性的看待，追求不能太盲目。

长尾词文章没有排名的原因有很多，本身的质量度、网站权重、竞争程度等等这些都会直接影响到排名。

对于新站或者权重低的网站来说，大部分长尾词文章是没有排名的，但这不等于说文章质量不行，更多的是因为网站是新站。那这样的文章页面就完全没有必要重新编辑。

如果是老站，出现大量的长尾词没有排名，也不需要重新写新的关键词文章，而是应该去分析其中的原因。如果觉得是文章质量的问题，那么可以在原来的基础上去编辑，添加或者修改内容，也没有必要写新的文章。

总之而言，收录的长尾词文章没有排名尽量不要重新写新的，这可能会导致关键词和内容重复。但可以适当的去编辑文章内容，也可以处理相关文章等，通过这些操作来提升长尾词文章的内容质量。

最后提醒下，长尾词文章没有排名的因素有很多，大家要理性分析，科学处理，不能简单重新写。

网站被k了通过301重定向能救活吗？网站被k跟301重定向没有什么关系，也就是说即便做了301重定向也起不到作用。

网站被k后，这个域名就有“黑”历史，如果我们把这个域名做301到另外的域名，能给新域名带来权重吗？理论上是不可以的，因为这个域名本身已经在搜索引擎那里挂上号了，已经没有了好的权重。所以这种301重定向原则上只会会新的域名带来不好的影响。

第二种方式，就是把其他的域名做301重定向到被k的网站，这种方式等于是把其他域名的权重转移过来。既然网站已经被k，那就说网站内部出了问题，在这种情况下，想要通过外链或者是301来解决，原则上是行不通的。

搜索引擎认的是域名下的网站内容，如果网站内容没有改正，想要通过外部优化来恢复网站权重的话，难度很大。目前搜索引擎已经愈发完善，这些不属于seo技巧的伎俩，还是比较难见效的。

关于网站被k了通过301重定向能否救活的问题，笔者就简要的说到这里。总之来说，如果网站被k了，靠谱的方式是换域名、换网站，这样网站优化的成本会少很多。如果想要通过301重定向或者其他外部优化的方式来恢复权重，基本是无法实现的。

当然，如果是k站不严重，并且已经对问题进行了整改，那么可以通过持续更新优质的网站内容来慢慢恢复，而外链或者301等方式则能起到辅助的作用。

对于企业网站和个人网站来说，通常访问量不会太大，因此使用php虚拟主机即可满足网站需求。那么具体php虚拟主机是什么呢？本文就给大家介绍下php虚拟主机是什么，哪里的虚拟主机好，以及php虚拟主机开启伪静态要怎么做。

一、php虚拟主机是什么

php虚拟主机就是指支持php动态脚本，是在网络服务器上划分出一定的磁盘空间供客户放置站点、应用组件等，提供必要的站点功能与数据存放、传输功能。

php虚拟主机是一项服务器虚拟化和自动化技术，采用的是操作系统虚拟化技术。操作系统虚拟化意思就是基于共用操作系统内核，这样虚拟服务器就不需要用额外的虚拟化内核的过程，因此可以降低虚拟过程资源损耗更低，从而可以在一台无力服务器上实现更多的虚拟化服务器。

这些php虚拟主机以最大化的效率共享硬件、软件许可证以及管理的资源。每个 php虚拟主机均可独立进行重启，并拥有自己的root访问权限、客户、ip地址、内存、文件、过程、应用程序、系统函数库以及配置文件。

php虚拟主机技术同时支持linux的windows平台服务。Linux版virtuozzo服务器还支持在虚拟服务器上实现同版本内核的不通linux发行版什么是虚拟主机

php虚拟主机可更快速的执行动态网页。随着市场竞争程度的不断增加，主机租用变的更加符合企业的发展需求，一些机构或者是个人之所以选择php主机，除了它开源和免费的特性外，还能很好的支持php+mysql网站开发，极大的发挥其功能，为网站快速而稳定的运行提供保障什么是虚拟主机。

二、哪里的虚拟主机好

目前很多服务商平台都提供虚拟主机服务，至于哪里的更好，这个没有衡量的标准，大家在增涨的时候注意价格和虚拟主机的稳定性就好。

当然，建议大家选择像阿里云这样的大品牌服务商，阿里云是阿里云旗下的产品，无论是服务还是质量都是靠谱的。当然选择其他平台的php虚拟主机也行，这取决于大家自己的意愿，没有绝对的要求。

三、php虚拟主机开启伪静态

完整的页面伪静态规则，每个程序伪静态规则会不同，建议直接使用云服务运营商提供的集成系统规则，在阿里云虚拟主机中，无论Linux系统还是Windows系统，均配置完善的伪静态规则，如果需要单独配置，可将配置好的规则放入对应文件内即可。

1、Linux系统，将程序开发者提供的伪静态规则文件.htaccess上传到网站根目录下即可。如果程序方没有提供.htaccess文件，在本地新建一个文本文件，将程序方提供的Apache规则添加到文本内，上传到服务器后改名为.htaccess即可。

以下是Linux+Apache下，http页面如何301重定向至https页面的伪静态设置规则

<IfModule mod_rewrite.c>

RewriteEngine On

RewriteCond %{HTTP:From-Https} !^on$ [NC]

RewriteCond %{HTTP_HOST} ^(www.)?webziv.com$ [NC] # 将webziv.com和www.webziv.com跳转到https://www.webziv.com,防止apache子站继承上级目录.htaccess受影响,注释请自行删除,不要放入htaccess文件

RewriteRule ^(.*)$ https://www.webziv.com/$1 [R=301,L]

</IfModule>

2、Windows系统，一般配置文件是web.config，将伪静态规则放入web.config中即可实现。Windows虚拟主机下，http页面301至https的伪静态配置规则：

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

<system.webServer>

<rewrite>

<rules>

<rule name="301" stopProcessing="true">

<match url="^(.*)$" ignoreCase="false" />

<conditions logicalGrouping="MatchAll">

<add input="{HTTP_FROM_HTTPS}" pattern="^on$" negate="true" />

</conditions>

<action type="Redirect" url="https://www.webziv.com/{R:1}" redirectType="Permanent" /> # www.webziv.com对应修改为您自已的域名,注释请自行删除,不要放入web.config文件内

</rule>

</rules>

</rewrite>

</system.webServer>

</configuration>

关于php虚拟主机的问题，本文重点介绍了php虚拟主机是什么，哪里的虚拟主机好，以及php虚拟主机开启伪静态要怎么做。可以看到php虚拟主机就是支持php程序的虚拟主机，它只是磁盘里面划出来的一小部分。

这里建议大家选择阿里云的php虚拟主机，至于如何设置伪静态，需要根据程序而定，在阿里云虚拟主机中，无论Linux系统还是Windows系统，均配置完善的伪静态规则，大家可以很方便的去使用。