下载
加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 对于网站日志文件该如何去整理分析

对于网站日志文件该如何去整理分析.doc

对于网站日志文件该如何去整理分析

ellie芳芳
2018-09-21 0人阅读 举报 0 0 暂无简介

简介:本文档为《对于网站日志文件该如何去整理分析doc》,可适用于高等教育领域

对于网站日志文件该如何去整理分析日志是一个强大的源数据经常没有得到充分利用但有助于保持您的网站的搜索引擎抓取检查的完整性。服务器日志是由一个特定的服务器进行详细记录了每一个动作。在一个Web服务器的情况下你可以得到很多有用的信息。如何检索和分析日志文件并根据您的服务器的响应代码(等)的识别问题。我将它分解成个部分每个部分突出不同的问题可以发现在您的Web服务器日志一、获取日志文件搜索引擎抓取网站信息必会在服务器上留下信息这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况一般通过主机服务商开通日志功能再通过FTP访问网站的根目录在根目录下可以看到一个log或者weblog文件夹这里面就是日志文件我们把这个日志文件下载下来用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息那么到底这个日志给我们传递了什么内容呢下面先做一个简单的说明。日期:这将让你一天搜索引擎抓取速度的发展趋势进行分析。被爬取文件:这将告诉你哪些被抓取的目录和文件并在某些路段或类型的内容可以帮助查明问题。状态码:(只列出常见到并能直接反正网站问题的状态码)状态码:请求已成功请求所希望的响应头或数据体将随此响应返回。状态码:请求的资源现在临时从不同的URI响应请求。状态码:请求失败请求所希望得到的资源未被在服务器上发现。状态码:服务器遇到了一个未曾预料的状况导致了它无法完成对请求的处理。提供了哪些网页被爬虫运行到并反应出什么样的问题。从哪里来:虽然这不一定是有用的分析搜索机器人它是非常有价值的其他的流量分析。哪种爬虫:这个会告诉你哪个搜索引擎爬虫在你的网页上运行的。二、解析网站日志文件现在你需要一个日志分析工具因为如果你的网站有几M或几十M甚至百M以上的日志数据时你不可能一条条去看。再说就算日志数据不多一条条看也是不科学的。这里用光年seo日志分析工具为大家做个例子。导入文件到您解析软件。分析网站日志及时发现出现的问题搜索引擎抓取您的网站有最快的方式是看在正在服务的服务器响应代码。(找不到页面)可能意味着抓取那珍贵的资源被浪费了重定向请求的资源现在临时从不同的URI响应请求是服务器遇到了一个未曾预料的状况导致了它无法完成对请求的处理可以分析出服务器出现的问题。虽然网站管理工具提供了一些信息这样的错误会给你的网站造成一个非常大的影响。分析的第一步是从您的日志数据通过光年seo日志分析工具以产生一个数据表。在最基本的层面上让我们看看哪些搜索引擎的爬虫在爬行这个网站:通过报表我们想几个问题:a雅虎蜘蛛总抓取量占了全部的那么我从流量统计器看到。没有一个流量是从雅虎搜索引擎过来的。那么这个蜘蛛可不可以禁止他再来访问呢b百度蜘蛛(BaiDuSpider)的访问次数、停留的时间、总抓取量反应了什么呢c其它搜索引擎的蜘蛛的访问次数、停留的时间、总抓取量那么少的原因是什么呢有没有改善的方法呢接下来让我们来看看在蜘蛛状态码分析我们最关心的问题。这是只显示这个日志有问题的蜘蛛状态码而已正常将不被分析。我们将要细看这个表格。总体而言好到坏的比例看起来很健康但有一些个别的问题让我们尝试弄清楚这是怎么回事。出现的问题数量是可以接受的但是不代表可以放着不去处理我们应该有更好的方法来处理这些问题也许用一个robotstxt指令应排除这些页面被抓取。的出现达到个。在几万的抓取量来说。网站的这个数据也算是可以的。但是也需要解决找出潜在的问题是隔离目录或者使用rel=”nofollow”注释这些链接。当然的页面也必须要有。结语百度网站管理为您提供抓取错误的信息但在许多情况下它们限制了数据。作为SEO的我们应该利用一切可用的数据毕竟只有一个数据源你可以真正依靠自己的源。日志不撒谎!

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/3

对于网站日志文件该如何去整理分析

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利