搜索引擎爬行器的低爬行率和不完全收录是许多网站的问题，尤其是那些大型网站和新网站。在许多论坛和网站上，我看到有人在问如何解决这个问题，我的许多SEO客户也在问我这个问题。这里有一些答案。当然，我对谷歌了解得更多，所以答案主要是针对谷歌的。当然，同样的规则也适用于其他搜索引擎的SEO优化，收录百度、雅虎等。

首先，对于大型网站来说，谷歌的收录率很难计算。由于各种原因，收藏数量可能不是真实的收藏数量，因此我们获得的大型网站的收藏率并不准确。谷歌提供的信息可能更好，其中包含的信息更可信。然而，如果你的网站真的太大，那么有多少肯可以收录真的无法准确获得。当然，如果你坚持计算网站的收视率，对于大型网站，随机选择几十个界面，手工查询每个界面是否包含，通过概率的方法大致得到收视率。当然，不可能较准确。

蜘蛛的爬行和聚集是无法精确控制的，但我们可以利用一些积极的因素来影响它，并努力使它变得更好。具体分析如下：

1.域名的重要性。在最近的一次采访中，Google的mattcutts承认网站的收录率和蜘蛛爬行的深度可能与PR成正比，也就是说，PR越高，你的站点就越好。

2.反向链接，PR是基于反向链接的，所以当然会成为影响采集的主要原因。网站的内容增长很快，但链接增长缓慢，搜索引擎会认为你的网站是垃圾。

3.深度链接。深度链接是指向内容页的反向链接。这些链接将使你的内页有一个非常好的SEO优化效果，并与深层链接的网页排名和收录将是非常好的。

4.导航栏和清晰的层次结构。对于网站来说，扁平的结构是最合理的，这样可以使搜索引擎很好地识别你的内容，更方便收录。同时，应该有清晰的导航，这样最重要的页面可以在4次点击中访问，较好是在2次内，这样搜索引擎可以更好地识别和抓取重要页面。

5.XML网站地图，这是一件必要的事情。毫无疑问，网页地图将帮助您的网站提高收藏和收藏速度。

6.减少相同的内容。制作网站时，我们必须尽可能保持原创。搜索引擎可以根据模糊匹配很好地识别相同的内容，因此不会给出很高的权重。您可以阅读信息理论，深入了解如何为相同网页分配权重的规则。目前，百度等搜索引擎在这方面基本上以信息论为计算核心。

7.别致的标题。如果你的标题中有很多相似的文章，搜索引擎会考虑是否需要包含它们，所以标题应该尽可能的别致。

8.手动设置更新频率。提交网站地图时，手动设置网站更新频率，使搜索引擎尽快更新网站。

9.更新、回复、ping命令，经常对内部页面和主页进行详细更新和维护，而不是整体更新和维护。这将提高爬行器的爬行效率。同时，更多的回复也可以提高您的首次出行率。RSS应该被充分利用，因为它可以被理解为一个自动生成的网站地图。建议向搜索引擎提交RSS。

10.社交网络，虽然这些社交网络的链接可能与学校中的链接类似，但谷歌也有一个计算这些社交网络的方法。在社交网络上增加网站内容也会提高网页的收录率。