服务器日志分析

服务器日志的定义

服务器日志：

记录服务器接收客户端处理请求，并记录服务器对这条请求结果处理以.log结尾的文件。

服务器日志是服务器自动生成的，一般以日期命名。

可以用记事本直接打开查看。

独立服务器和虚拟空间配置查找服务器日志的方式不一样。

服务器日志的作用

1、了解搜索引擎抓取网页的相关数据。

到访抓取等数据。

2、了解网站内容及链接是否正常。

http状态码及爬行收录情况。

3、对网站维护有非常重要的指导作用。

根据蜘蛛爬行的频率等，判断蜘蛛喜好及文章质量的高低。

服务器日志的获取

不同空间存放不一样。

读懂服务器日志

1、读懂Apache日志

服务器日志分条读取（用写字板打开）。

服务器日志读取重点：

访问时间、被访问的文件地址、搜索引擎蜘蛛或者用户浏览器、访问者的ip、访问状态码。

2、iis日志读取

日志相关拓展：

date表示记录访问日期；

time访问时间；

cs-method表示访问办法：常见的有两种，一种是get，就像平常我们打开一个URL访问的动作。二是post，提交表单时的动作。

cs-uri-stem就是访问哪一个文件资源；

cs-username访问者名称；

c-ip客户端ip；

cs-version客户端协议版本：http/1.0，http/1.1。

cs（User-Agent）用户代理：可以分辨是用户还是搜索引擎的蜘蛛。

cs（Referer）引用页地址。

sc-status状态：

200表示成功

301永久重定向

403表示没有权限

404表示打不开该页面

500内部服务器错误

503服务器超时。

sc-substatus协议子协议。

sc-bytes服务端传送到客户端的字节大小。

1**：请求收到，需要继续处理。

2**：请求已成功被服务器接收、理解、并接受。

200：请求已成功，请求所希望的响应头或数据体将随此响应返回（可以正常浏览网页）。

3**：完成此请求需要客户端进一步处理。

301：永久重定向，被请求的资源已永久转移到新位置。

4**：请求包含错误语法或不能完成（客户端错误）。

404找不到文件。

5**：服务器执行有效请求失败（服务器错误）。

500内部服务器超时；

503服务器超时。

其中c-ip可以查询对方

运行中输入nslookup可以查询DNS信息。

服务器日志分析工具

分析日志发现并解决问题

1.访问次数少

增加外链、更新时间规律。

2.抓取量少

增加文章质量，坚持更新，内部优化做内链。

3.文件夹爬取量低

内部优化，做好内链优化。

4.页面未被抓取或被抓取的页面数较少（数量非次数）

提高文章质量，做好内链优化。

5.隐私文件被抓取

采用robots.txt或者是robots meta标签等限制文件的抓取。

6.修正返回错误的页面

检查相关文件或服务器问题（异常时需要关注，情况较少）。

返回404的文件要查询是否需要补上文件。