网站日志分析:清楚网络蜘蛛的爬行日志

2012-06-25 00:22:56  来源:tcie.cn 

Webjx.Com提示:手把手教你玩转excel分析网站日志.

在seo逐步普及的大浪潮下,许多所谓的seoer都将她简单归结为内容和外链,其实这个说法并没有错,内容和外链的确是做seo最为重要的两大手段,但这就好像某领导在某大会上发言:“我们要继往开来,我们要卓越进取!”,继往开来是对的,卓越进取是对的,但靠什么继往开来、卓越进取就不得而知了。所以在这里我想说的就是科学的理性的看待seo,内容和外链发布中的一些方法细节在这里姑且不谈,我们就谈一谈如何有效分析一个阶段中seo的效果。

下面言归正传,大家都应该知道搜索引擎对网站的了解靠的是网络蜘蛛,所以通过分析网站日志中网络蜘蛛的动向,就能清晰的认识到蜘蛛的访问频率、访问去向,从而分析得出正确的seo优化方法。

一般的网站日志形为

66.249.72.250 - - [16/Jun/2012:01:03:44 +0800] “GET /skill/skill06/20120501_261_2.html HTTP/1.1” 200 15468 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” tcie.cn text/html “/usr/home/hmu090204/htdocs/skill/skill06/20120501_261_2.html”

每一项数据代表什么意思就不一一介绍了,不明白的可以去问百度。那么我们前面说要分析一个阶段的数据,这一个阶段可以是半个月、1个月甚至可以是1年,然后通过我们介绍的方法,来达到数据分析的目的。具体操作如下:

1、 例子中选取了1周的数据,在这里我们需要用到一个工具——《光年SEO日志分析系统》(非广告),利用它的“日志拆分”功能,就能达到目的,方法如下图。

2、 点击下一步后,添加拆分条件,选择到agent,在自定义值处填入baiduspider(这里是分析百度蜘蛛,也可以填入googlebot来分析谷歌蜘蛛),然后再下一步……直到保存,最后会生成两个.log文件,不带_exclude的是我们需要的,带_exclude的则是拆分后剩下的。

3、 打开我们需要的log文件,然后从第四行的date开始直到结束,整体复制到excel中A列中,然后利用excel的分列功能,“数据”-“分列”-“分隔符号”-勾选“空格”-“完成”,最终得到我们需要的表格化的数据(表头如下图)。

4、 前3步是网站日志数据表格的制作过程,接下来就需要用到excel中强大的“数据透视表”功能进行数据分析的工作,我这里用的是excel2003版,用07版的同学可以在数据那一项找到。

5、 点击“数据透视表和数据透视图”后,excel已经帮我们选定好了范围,再点击完成,之后会出现“数据透视表”的界面。

6、 我们可以尝试将“数据透视表字段列表”中的“date”拖入“行字段”中,然后将“cs-method”拖入“数据字段”中,大家看到了什么?如图所示,从6月10日到17日,每一天百度蜘蛛访问的次数就显而易见了,蜘蛛的访问频率一定是和我们的操作有关的,回忆一下,在蜘蛛访问频率高的前一天你都做了些什么,多做这样的总结,你就能得出规律了。

7、 你不仅可以分析每一天的蜘蛛访问频率,也可以分析蜘蛛抓取了你网站的哪些页面,方法很简单,将“数据透视表”中“行字段”的“date”换成“cs-uri-stem”,重新刷新数据透视表即可。

上面我讲到也只是一些基础的方法,还是那句话,工具是死的,人是活的,数据分析的维度在于你想知道什么样的结论。

更多