网站日志可以记录最近24小时，网站的访问情况，包括搜索引擎的访问。作为一个专业的SEO人员，分析网站日志查看不同搜索引擎是如何爬行网站，然后通过分析结果对网站进行优化，是非常必要的一个过程。不同搜索引擎爬行网站的规律不同，经统计济南网站建设网站日志得知，百度蜘蛛爬行网站是最频繁的，但是爬行深度是最浅的，相对于其他搜索引擎，搜狗和360搜索引擎蜘蛛访问频率较低，而且比较集中。
一、百度搜索引擎蜘蛛访问频率高、深度低、比较喜欢爬行tag相关页面
百度搜索引擎蜘蛛访问网站的频率非常的高，机会一天当中都要访问几十次，但是每次爬行的深度很低，从下图网站日志中的截图可以看出，百度蜘蛛访问网站的时候会直接爬行“/search/search.php?key=”或者“/blog/?tag=”以及“/blog/?feed=rss2&tag=”这三个URL链接，从百度蜘蛛爬行的这三个URL中分析，可以看出这三种链接都是类似于tag的这种标签，也可以看作成网站的一个综合搜索功能，从搜索某些关键字来查看网站是否存在更新。不过百度蜘蛛也会直接爬行网站的首页或者某些特定的内页，所爬行的这些内页也没有规律可循，只是看到蜘蛛确实爬过这个页面。如图2所示：
百度搜索引擎蜘蛛爬行日志图一
百度搜索引擎蜘蛛爬行日志图2
百度搜索引擎蜘蛛爬行日志图3
二、谷歌搜索引擎蜘蛛访问频率高、深度高、爬行页面较多
谷歌搜索引擎蜘蛛访问频率应该是最高的，这点应该和我们网站在谷歌中的权重---PR值有关，在《详细了解济南网站建设权重的真实含义》介绍过关于网站权重的知识，通过分析网站日志，可以看到谷歌蜘蛛在一天当中频繁的访问网站页面，并且访问网站URL很多，包括百度蜘蛛爬行的那些URL外，还有其他的一些直接性的页面，如下图所示。从这里可以看出谷歌在爬行网站方面确实比百度要好的多，但是毕竟谷歌不是主流的搜索引擎所以我们只是直到谷歌蜘蛛来过就好了，不用太在意它的爬行深度和频率是怎样的。
三、360搜索引擎蜘蛛爬行频率中、深度中、爬行页面集中
360搜索引擎蜘蛛在一天当中访问网站是有规律可循，在网站日志中可以看出360搜索引擎在爬行网站的过程是非常集中的，而在其他的任何时段都不会来访问网站，来的话也是直接爬行特定的几个页面，比如第一次爬行的是“/wangzhanjianshe/”这个目录，那么接下来所有蜘蛛都会随着这个目录爬行下去，然而在爬行了几次发现没有新的内容之后，就会离开网站，等第二天再次爬行。
四、搜狗搜索引擎蜘蛛爬行频率中、深度中、比较喜欢类似blog之类的页面
通过查看网站日志得知，搜狗搜索引擎蜘蛛只爬行了/blog/目录下的页面，而且爬行频率如同360蜘蛛一样，都属于集中型的，在一天中的固定时刻访问，而且只是访问一次。这可以看出搜狗蜘蛛很喜欢网站中的blog。我们网站在搜狗中，搜索“济南网站建设”第一个就是我们的，也许是和我们网站中存在blog有关吧。当然在其他搜索引擎中排名也很好，这是一种猜测，也许和网站内容也有很大关系的。
写到最后：
不同搜索引擎，爬行页面的频率、深度、时间都是不同的，我们可以根据分析网站日志得知自己网站对于不同蜘蛛的喜欢程度，然后根据不同的蜘蛛制定不同的优化方案。争取将济南网站建设公司的关键字在任何搜索引擎上都有一个好的排名。对于其他的搜索引擎来说，基本可以忽略不计，因为据目前各大主流搜索引擎的排名来看，基本质量比较高的网站排名都差不多。
相关阅读：