请高手深度分析搜索引擎蜘蛛 解开我心头的疑团

2010-04-04 16:08 来源 wenzhou1

　　搜索引擎蜘蛛使劲的在我的网站上爬，本来是一件好事，最近我发现了雅虎在爬哪个网页以后，我一直很纳闷。因为这是我做的一个静态网页，忘记删除了。网站导航和目录里面都没有指向这个网页，可是雅虎蜘蛛却在这个网页上使劲的爬，有时候每秒爬行十几次，4月4日的日志我检查了下，雅虎爬了1400多次，竟然大部分时间在这个单独页面上，这样子的爬行对服务器的压力会很大。对网站收录又没有什么帮助，因为这个页面没有什么特别的内容，最近我在这个页面上加了很多文本内容。但是即使这样，一个搜索引擎只关注我网站的一个内页，总不是什么好现象，请高手深度分析下，这是什么原因引起的，会带来什么坏的后果，以待我更好的改进。

这个页面的地址：http://www.wenzhousx.com/seo/seo.html

我做了一个和这个一样的页面，蜘蛛却不来爬

http://www.wenzhouzx.com/seo/这两个页面一样的原因是我刚做的时候，路径问题没有搞对，所以，把那个文件夹里的seo.html的文件忘了删除，现在蜘蛛这么狠命的爬，我都不敢删除这个文件了，删了我怕给我一串的404

蜘蛛爬行统计：

　　本文“”来源：http://www.wenzhouzx.com/keji/intel/zzzj/seo/14132.html，转载必须保留网址。

编辑： 温州视线