所优化网站的框架结构要了解透彻

我们做网站优化的，网络机器人网络爬虫的友好度显然是非常重要的。但有时候我们在 建立网站的时候，为了网站的美化却忽视了网络机器人网络爬虫的感受，导致网络爬虫无法 抓取我们的页面。的几条较为常见，对网络爬虫不友好的注意事项，希望对我们有所帮 助。 一、各种跳转。我们在建站的时候可能会应用到各种跳转，但要你要知道，网络爬虫出 了301调转，其你的一概不支持。有些黑帽网站优化经常使用条状欺骗用户和网络爬虫，所 以不是特殊情况，网站尽量的不要用到跳转功能。 二、动态的URL。动态URL就是网址含有动态参数，是数据库生成的带有问号、等号或者 一些其你参数。站内要尽量减少不同的URL指向相同的页面情况。 三、flash。这个基本上做网站优化的都懂，你做的flash网络爬虫是抓取不到的。有的 网站为了突出效果，做一个flash片头，然后实现跳转html页面。这样网络爬虫是无法识别 到当中的跳转的，所以flash在我们优化当中尽量的少一点。 四、Javascript。Javascript脚本语言可以给我们网站做出很多的特效，而且有些朋友 还用Javascript做出网站的导航，这些都是无法被网络爬虫识别的。所以优化的话，尽量也 是避免。 五、登陆后访问。进入网站后，需要注册登陆后才能浏览网站，最长见的就是有个别这 样的bbs。这样岂不是把网络爬虫拒之门外了？网络爬虫又不会注册和登陆的。 六、框架结构。如果你不懂什么事框架结构，那么你已经避免了一种不友好网络爬虫的 事项了。网络爬虫视框架结构跟flash是一样的，不抓取多窗口，所以也是尽量避免。 七、Session ID。有些网站或者bbs的，可能在使用Session ID跟踪用户的访问，当用 户打开网站时候就会自动生成一个唯一的Session ID，加在了URL当中。这样就产生了一个 问题，当网络爬虫来访问你网站的时候也获得一个URL，每次来的多个URL指向的是同一个页 面，接下来后果我们都知道了。有的朋友需要Session ID这个功能，又不想被K，然后加一 个判断语句吧，把网络爬虫的来访和用户的来访分别开来，但蓝鲸觉得这招也不妥，如果被 网络爬虫发现了，你加判断语句判断你，很可能认为你作弊了，所以想优化的话，远离为好。 文章来源：北京搬家公司 深圳搬家公司 北京分类信息网 http://www.soso568.com