常见的蜘蛛陷阱是:
由于对数据库的自动调用,许多动态url由网站自动生成。一般来说,搜索引擎蜘蛛不喜欢动态url。由于动态URL参数过多,搜索引擎蜘蛛的爬行效率将受到很大的损害。要做好网站url的静态工作。
当用户访问网站时,他们会毫无理由地跳转到其他页面。如果根据用户信息跳转,不会造成太大影响。一旦跳转,就会引起大量用户的反感,从而失去有效的客户。常见的用户厌恶跳转:JS跳转、flash跳转、302跳转等,我们尽量不使用这些跳转。
很多网站喜欢使用js,因为js可以给网站带来很强的视觉效果。有些网站像JS生成的网站导航,这对搜索引擎来说非常烦人。毕竟,目前还无法识别JS的内部链接。只有简化搜索引擎的爬行工作,才能得到搜索引擎的青睐。
有些网站的内容会放在一些需要会员或用户登录才能看到的地方,这部分内容连搜索引擎都无法抓取和抓取。我们知道搜索引擎蜘蛛不会填写用户名和密码来访问网页并抓取其内容,这显然增加了蜘蛛工作的难度。
如果新手站长不知道框架结构,那么可以放心。如果按照框架结构设计网站,可以有效地维护和更新页面。当一个搜索引擎访问一个框架结构的网站时,它只抓取HTML文件的代码,任何文本信息都不能被它抓取,因此搜索引擎无法识别网站的内容。不要浪费时间等待搜索引擎改变自己以适应你的网站。相反,改变自己,以适应搜索引擎。
有些网站用户在访问URL时会自动生成会话ID。搜索引擎将自动为每次访问生成会话ID,这将不可避免地导致同一个spider的多次访问具有不同的url。如果一个页面被蜘蛛多次爬网,那么URL将不同,内容也将相同。这在搜索引擎视图中是重复的内容,所以你的网站不久就有权拒绝。
合理使用flash技术也很重要,简单的使用一些小flash做一些特效来增加网站的美感是可以的。如果整个网站是一个闪光灯,那么它将不包括在搜索引擎。目前,强大的搜索引擎无法识别flash中的内容,所以这个网站更不用说优化了。从优化的角度来看,这是一个死胡同。所以不要用flash来设计网站,而是用flash来展示网站的信息和实力,所以这种网站根本不需要优化。
这是用户和搜索引擎讨厌的事情。因为添加收藏夹链接是用户自己的权利,如果向用户添加强制链接,会引起用户反感。一旦网站链接添加不成功,用户和搜索引擎将无法正常访问您的网站。