如何进行网站日志分析

发布网友

我来回答

共4个回答

懂视网

4．2 使用apache自带的rotatelogs实现日志轮循 apache提供了将不把日志直接写入文件，而是通过管道发送给另外 一个程序的能力，这样就大大的加强了对日志进行处理的能力，这个通过管道得到的程序可以是任何程序：如日志分析，压缩日志等。要实现将日志写到管

4．2 使用apache自带的rotatelogs实现日志轮循

apache提供了将不把日志直接写入文件，而是通过管道发送给另外 一个程序的能力，这样就大大的加强了对日志进行处理的能力，这个通过管道得到的程序可以是任何程序：如日志分析，压缩日志等。要实现将日志写到管道只需要将配置中日志文件部分的内容替换为“|程序名“即可，例如：

这样就可以实用apache自带的轮循工具：rotatelogs来对日志文件进行轮循。rotatelogs基本是用来按时间或按大小控制日志的。

上 面的示例中apache访问日志被发送给程序rotatelogs，rotatelogs将日志写入/www/logs/secfocus /access_log，并每隔800秒（一天）对日志进行一次轮循。轮循以后的文件名为/www/logs/secfocus /access_log.nnnn，这里nnn是开始记录日志的时间。因此为了将日志按天对齐就需要在凌晨00:00启动服务，使得每天轮循得到的日志刚 好是完整一天的日志，以提供给访问统计分析程序进行处理。如果是00:00开始生成新的日志，那么轮循得到的日志就是access_log.0000。

4．3 使用cronolog实现日志轮循

首先需要下载和安装cronolog，可以到http://www.cronolog.org下载最新版本的cronolog。下载完毕以后，解压安装即可，方法如下所示：

这就完成了cronolog的配置和安装，默认情况下cronolog是安装在/usr/local/sbin下。

修改apache日志配置命令如下所示：

这里%w表示按照日期星期几在不同的目录下保存日志，这种方式会保存一周的日志。为了进行日志分析，需要每天将该日志文件拷贝（或移动，如果不希望保存一周的日志）到一个固定的位置以方便日志分析统计文件进行处理，实用crontab –e，如下添加定时任务：

这样再使用日志统计分析程序的对文件access_log_yesterday进行处理。

对 于使用负载均衡技术的大型站点，就存在多个服务器的访问日志的合并处理问题.对于这种情况，各个服务器定义或移动日志文件时就不能使用 access_log_yesterday了，就应该带上服务器编号了，例如服务器IP地址等信息以区分。然后在各个服务器上运行网站镜像和备份服务rsyncd（参考文章” 用rsync实现网站镜像和备份”,ttp://www.linuxaid.com.cn/engineer/ideal/article /rsync.htm），然后将每个服务器每天的安装配置文件通过rsync下载到专门进行访问统计分析的服务器上进行合并。

合并多个服务器的日志文件，例如：log1 log2 log3并输出到log_all中的方法是：

五、日志统计分析程序webalizer的安装和配置

webalizer是一个高效的、免费的web服务器日志分析程序。其分析结果是HTML文件格式，从而可以很方便的通过web服务器进行浏览。Internet上的很多站点都使用webalizer进行web服务器日志分析。Webalizer具有以下一些特性：

1、是用C写的程序，所以其具有很高的运行效率。在主频为200Mhz的机器上，webalizer每秒钟可以分析10000条记录，所以分析一个40M大小的日志文件只需要15秒。

2、webalizer支持标准的一般日志文件格式(Common Logfile Format)；除此之外，也支持几种组合日志格式(CombinedLogfile Format)的变种，从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。

3、支持命令行配置以及配置文件。

4、可以支持多种语言，也可以自己进行本地化工作。

5、支持多种平台，比如UNIX、linux、NT, OS/2 和MacOS等。 　

上图是webalizer生成的访问统计分析报表第一页的内容，这里包含每个月的平均访问量的表格和条形图统计分析情况。点击每个月分，可以得到这个月每天的详细统计信息。

5．1 安装

在安装以前首先需要确保系统已经安装有gd库，可以使用：

来确认系统已经安装有gd-deve和gd两个rpm包。

安装webalizer有两种方式，一种是下载源代码来安装，一种是直接使用rpm包来安装。

使用rpm包方式安装非常简单，从rpmfind.net找到webalizer包，下载以后：

即可实现安装。

对于源代码方式首先需要从http://www.mrunix.net/webalizer/下载，然后安装，首先解开源代码包：

在生成的目录中有个lang目录，该目录中保存了各种语言文件，但是只有繁体中文版本，可以自己转换成简体，或者自己重新翻译一下。然后进入生成的目录：

编译成功后，会在/usr/local/bin/目录下安装一个webalizer可执行文件。

5．2 配置和运行

对webalizer运行的控制可以通过配置文件或者在命令行指定参数的两种方式进行。而使用配置文件方式是比较简单和灵活的，适用于自动web服务器日志统计分析的应用环境。

webalizer的默认配置文件为/etc/webalizer.conf，当启动 Webalizer时没有使用“-f“选项时，Webalizer就会寻找文件/etc/webalizer.conf，也可以使用“-f”来指定配置文 件（当服务器有虚拟主机时，就需要配置多份不同的webalizer配置文件，不同的虚拟主机的webalizer使用不同的配置文件。 Webalizer.conf配置文件中需要修改的配置选项如下：

用来指示配置文件的路径信息，webalizer会将该日志文件作为输入进行统计分析；

用来指示生成的统计报表的保存目录，在前面我们使用alias，使得用户可以使用http://www.secfocus.com/usage/来访问统计报表。

用来指示主机名，统计报表中会引用该主机名。

其他选项就无需修改，配置文件修改完毕以后，就需要在定时webalizer，每天生成当日的统计分析。

以root身份运行：crontab –e 进入定时运行任务编辑状态，加入如下任务：

我们这里假设系统运行有两个虚拟主机，并分别定义了日志分析配置文件 secfocus.webalizer.conf和tomorrowtel.webalizer.conf。这样我们定义在凌晨00:05对 secfocus的日志进行统计分析；在凌晨00:15对tomorrowtel的日志进行统计分析。

然后第二天分别使用http://www.secfocus.com/usage/和http://www.tomorrowtel.com/usage来察看各自的日志分析报表。

六、保护日志统计分析报告不被未授权用户访问

我们肯定不会希望自己网站访问统计信息随意被别人浏览，因此需要将usage目录保护起来，只允许合法用户访问。这里可以采用apache自带的基本的认证机制，配置以后再连接这个地址就会需要用户提供密码才能访问该页面：

1、条件

在配置文件中对目录"/"应该设置为：

2、需求

需求：对http://www.secfocus.com/usage/的访问，要求用户认证才能访问。这里设置用户为"admin"，口令为"12345678"。

3、使用htpasswd建立用户文件

htpasswd -c /www/.htpasswd admin

此程序会询问用户"admin"的口令，你输入"12345678"，两次生效。

4、建立.htaccess文件

用vi在/www/logs/secfocus/usage/目录下建立一个文件.htaccess，写入以下几行：

5、测试

这时候通过浏览器访问http://www.secfocus.com/usage就会弹出框请求输入用户名和口令，这时候输入admin、12345678就可以才可以访问访问日志统计分析报表。

热心网友

一、什么是网站日志
1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。

2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。

3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。
为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*百度蜘蛛：Baispider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot

二、如何看懂网站日志
（以下为一段日志记录）www.cafehome.com
58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html
HTTP/1.1" 200 122 "http://www.cafehome.com/index-1s2i2p2" "Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"
以下为字段解读：

通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋 可以继续深入了解。
大型网站通常可以用以上的方法来进行做日志分析。
普通的个人站点，或者企业网站，则可以通过 光年日志分析工具结合百度站长平台一起使用。

三、为什么要做网站日志分析
 先来了解SEO流量的获取流程：抓取－－>索引－－－>排名－－－>点击－－－>流量
因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。
所以，对于SEO运营而言，分析搜索引擎网站日志就显得非常有必要：*分析抓取有无：解决一定的索引问题。*发现异常：及时规避。如存在大量异常页面，404等*抓取*：让更多优质的内容被抓取，过滤无效抓取。
网站分析的最终目标：让更多有价值的页面被抓取，将有机会获得索引，从而有机会获得SEO流量。

四、怎么做网站日志分析
*定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。*借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。*借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。
举个栗子：
老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。
分2种情况：
了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。
分析内在：
在分析内在之前，再次抛出这个公式：Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率

。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。
在此先解释这个概念，方便理解：

1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2.抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：

（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。
（2）运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致。
小结一下：
老站如何做网站日志分析（针对中文站点）：外界排除：
了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内在分析：
（1）使用工具：百度站长平台（非VIP账户看后文介绍）
（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

五、用光年日志分析工具
非百度VIP：
步骤：
1.下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）
2.打开光年日志分析工具，上传网站日志。
3.查看分析结果。主要维度有这几个：
（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。

（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。

（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。

（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。

热心网友

一个合格的站长或者seoer必须要能看懂网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力佐证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，这将非常有利于我们做优化。另外，学习分析网站日志文件也是站长必须具备的能力，也是你从一个初级seo进阶到seo高手的必由之路。但是前提是要主机服务商开通日志统计功能，一般虚拟主机提供商都不会开通，你可以申请开通，或者自己到服务器管理后台开通这个日志统计功能，不过日志也会占用空间的，我们在看完日志文件后，可以隔段时间清理下日志文件。那么如何分析服务器日志文件呢?听我娓娓道来。

　　搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢?其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息，那么到底这个日志给我们传递了什么内容呢?

　　如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如百度的蜘蛛程序名称是spider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，这些状态码是我们站长朋友必须能看懂的，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看百度和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和百度蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。

　　说到分析日志文件，我们就不得不说分析日志文件的时机了，那么在什么情况下我们要去分析日志文件呢?首先，新网站刚建立的时候，这个时候也是站长朋友最急切的时候，我们一般都会焦急的等待搜索引擎收录网站内容，经常会做的事情就是去百度或者Google用命令site:下网站域名看看是否被收录，这个时候，其实我们没必要频繁的查询网站是否被收录，要想知道搜索引擎是否关顾我们的网站。我们就可以借助网站日志文件来查看，怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的比较快，最快可秒杀，但是百度反应就慢了，最快也要一周左右，不过11月份百度算法调整后，放出来的速度还是很快的。其次，当网站收录异常时我们要把正常收录的日志和异常的日志进行对比分析，找出问题所在，这样可以解决网站收录问题，也是对完整优化大有裨益的。第三，网站被搜索引擎K掉后，我们必须要观察网站日志文件来亡羊补牢，一般这种情况下，日志文件里只有很少的几个蜘蛛爬行了首页和robots，我们要找出被K的原因并改正，再提交给搜索引擎，接下来就可以通过观察日志来看蜘蛛是否正常来临，慢慢过一段时间，如果蜘蛛数量增加或者经常来临并且返回200状态吗，那么恭喜你，你的网站又活了，如果半年都没反应，那么建议放弃该域名重新再战了。

　　很多站长朋友不懂得如何利用网站日志文件，遇到网站收录问题就去提问别人，而不好好自检，这是作为站长或者seoer的悲哀。而且网上的很多软文都提到要做好日志文件的分析，但是那只是软文而已，说不定写文章的作者都没有去看日志文件。说到底，还是希望站长朋友一定不要忽略了网站日志文件，合理的利用好网站日志文件是一个站长或seoer必备的技能。再者说，看懂网站日志文件并不需要你有多么高深的编码知识，其实只要看得懂html代码和几个返回的状态码就可以了，一定不能懒，或者抱着侥幸心理去对待你的网站，这种心理会导致你输得很惨。如果你是一个小站长，或者你是一个seoer，如果你以前没有意识到网站日志文件的重要性，那么从看到我写的这篇文章开始要好好对待你的网站日志了。

热心网友

　　1.什么是网站日志?
　　2.在什么情况下需要做网站日志分析?

　　什么是网站日志?
　　网站日志，准确来说是服务器日志。通过服务器日志，我们可以了解到用户在什么IP、在什么分辨率的设备、什么时间、什么地区访问了我们的网站，以及当时访问的页面是否正常。
　　对于我们网站而言，搜索引擎也是网站用户之一。本文提到的网站日志分析，更多是在分析搜索引擎这种用户。

　　在什么情况下需要做网站日志分析?
　　1、老站点(建站1年且正常运营的网站)：Seo流量出现异常波动。
　　2、刚建立不久的站点(建站6个月以下的网站)：定期分析。
　　了解以上两种情况后，我们如何进行网站日志分析?

　　针对老站点网站日志分析
　　作为一个Seoer是需要定期做数据分析。了解网站Seo流量的波动情况。当网站Seo流量波动在10%及以上就需要进一步深入分析。
　　分2种情况：
　　了解外界： 了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。
　　有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动?这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。
　　无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。
　　如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。
　　比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。
　　如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。
　　分析内在： 在分析内在之前，再次抛出这个公式：
　　Seo流量=抓取量*收录率(准确来说应该是索引率)*首页率*点击率 。当抓取频次、抓取时间出现异常必然引起抓取量的减少。
　　因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助百度站长平台的“抓取频次”工具，先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。
　　在此先解释2个概念，方便理解：
　　1.抓取频次： 抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baispider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
　　2.抓取时间： 指的是搜索引擎每次抓取耗时。
　　影响抓取频次的可能原因
　　1.抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。
　　2. 运营层面：存在大量重复页面(情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容)。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上?另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。
　　抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致
　　小结一下老站如何做网站日志分析(针对中文站点)：
　　外界排除：了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。
　　内在分析：
　　1.使用工具：百度站长平台。(非VIP账户看后文介绍)
　　2.分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

　　针对新站点如何做网站日志分析
　　对新站点做网站日志分析，主要目的在于如何促进新站点被索引并获得一定的排名。通常新站建立之初都会进入沙盒期(沙盒是指一个新站建立后搜索引擎会对其进行一个类似资格评价的阶段，我们将这个阶段称为沙盒，在沙盒里面的这段时间，我们将其称为沙盒期，沙盒期一般都是2-6个月。)进入沙盒期并不意味着站点不会被抓取，由于新站点建立之初，权重较低，内容量较少，因此抓取量等相应的也不会太多。
　　前期，我们分析新站点网站日志，主要是分析站点是否有被爬虫抓取过?如果没有的情况下，一来是要让站点持续更新优质的内容，二来，在站点建设较为完善的情况下，需要主动向搜索引擎提交链接，让爬虫发现你的站点。除此之外，还可以通过正确渠道交换一些优质的友情链接，吸引爬虫来抓取。
　　通常新站点建立之初较难获得百度站长平台VIP账号，那么分析网站日志，我们可以通过下载光年日志分析工具进行分析。
　　步骤
　　1、下载网站日志(如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是)
　　2、打开光年日志分析工具，上传网站日志。