通過站日志來尋找百度蜘蛛爬行規律

2019-06-07 21:23:31 来源: 梧州信息港

  通过站日志来寻找百度蜘蛛爬行规律

  A5任务 SEO诊断选学淘宝客 站长团购 云主机

  對于各位站長來說,百度的收錄是關心的重中之重,因為站大部分流量都來自百度。

  因此,了解百度蜘蛛的爬行规律从而更好的改善收录情况也是必须要掌握的。

  很多站目前使用的都是虚拟空间,都能够提供日志。从虚拟主机后台登录,点击下载访问日志。

  日志是指在站根目录下的logfiles或W3SVC文件夹里面日期.txt文本文件

  更多的是类似我的站建站学习的日志格式,如下:

  开始几行:

  #Software: Microsoft Log Parser

  #Version: 1.0

  #Date: 23:57:04

  #Fields: LogFilename RecordNumber ComputerName SiteID DateTime ClientIpAddress ServerIpAddress ServerPort Method ProtocolVersion ProtocolStatus SubStatus TimeTaken BytesSent BytesReceived Win32Status UriStem UriQuery UserName

  说明用的软件,版本,创建日期,字段说明

  举例说明:

  d:\iislog\W3SVC\l 818972 COMPUTER88221 837 12:52:51 202.108.7.205 58.241.151.91 80 GET HTTP/1.1 200 0 437 35074 267 0 /p - -

  分别表示:

  日志文件名:d:\iislog\W3SVC\l

  记录数:818972

  计算机名称:COMPUTER88221

  站点ID:837

  访问日期: 12:52:51

  客户端IP:202.108.7.205 (客户端IP很重要,有的IP是搜索引擎爬虫的IP)

  服务器IP:58.241.151.91

  服务端口:80

  模式:GET

  HTTP协议版本:HTTP/1.1

  协议返回状态:200 (这个很重要,200是成功的应答码)

  记录的内容大小:35074 267

  访问页面: /p (这点是站长分析和以后努力的方向)

  都是这种格式的日志如何去分析了,一个一个看的头都大了。

  现在上很多站日志分析工具,其实你只要打开日志 CRTL+F 查找几个你关心的IP就OK了。

  各类蜘蛛IP收集,不一定完全准确。

  序号 IP 注释

  1 202.106.186.* 163蜘蛛

  2 202.108.36.* 163蜘蛛

  3 202.108.44.* 163蜘蛛

  4 202.108.45.* 163蜘蛛

  5 202.108.5.* 163蜘蛛

  6 202.108.9.* 163蜘蛛

  7 220.181.12.* 163蜘蛛

  8 220.181.13.* 163蜘蛛

  9 220.181.14.* 163蜘蛛

  10 220.181.15.* 163蜘蛛

  11 220.181.28.* 163蜘蛛

  12 220.181.31.* 163蜘蛛

  13 222.185.245.* 163蜘蛛

  14 202.165.100.* 3721蜘蛛

  15 220.181.19.* 百度蜘蛛

  16 159.226.50.* 百度蜘蛛

  17 202.108.11.* 百度蜘蛛

  18 202.108.22.* 百度蜘蛛

  19 202.108.23.* 百度蜘蛛

  20 202.108.249.* 百度蜘蛛

  21 202.108.250.* 百度蜘蛛

  22 61.135.145.* 百度蜘蛛

  23 61.135.146.* 百度蜘蛛

  24 64.124.85.*

  25 61.151.243.* china蜘蛛

  26 202.165.96.*

  27 216.239.33.* google蜘蛛

  28 216.239.35.* google蜘蛛

  29 216.239.37.* google蜘蛛

  30 216.239.39.* google蜘蛛

  31 216.239.51.* google蜘蛛

  32 216.239.53.* google蜘蛛

  33 216.239.55.* google蜘蛛

  34 216.239.57.* google蜘蛛

  35 216.239.59.* google蜘蛛

  36 64.233.161.* google蜘蛛

  37 64.233.189.* google蜘蛛

  38 66.102.11.* google蜘蛛

  39 66.102.7.* google蜘蛛

  40 66.102.9.* google蜘蛛

  41 66.249.64.* google蜘蛛

  42 66.249.65.* google蜘蛛

  43 66.249.66.* google蜘蛛

  44 66.249.71.* google蜘蛛

  45 66.249.72.* google蜘蛛

  46 72.14.207.* google蜘蛛

  47 61.135.152.* iask蜘蛛

  48 65.54.188.* msn蜘蛛

  49 65.54.225.* msn蜘蛛

  50 65.54.226.* msn蜘蛛

  51 65.54.228.* msn蜘蛛

  52 65.54.229.* msn蜘蛛

  53 207.46.98.* msn蜘蛛

  54 207.68.157.* msn蜘蛛

  55 194.224.199.* noxtrumbot

  56 220.181.8.* Outfox

  57 221.239.209.* Outfox

  58 217.212.224.* psbot

  59 219.133.40.* 蜘蛛

  60 202.96.170.* 蜘蛛

  61 202.104.129.* 蜘蛛

  62 61.135.157.* 蜘蛛

  63 219.142.118.* sina蜘蛛

  64 219.142.78.* sina蜘蛛

  65 61.135.132.* sohu蜘蛛

  66 220.181.26.* sohu蜘蛛

  220.181.19.*

  67 61.135.158.* tom蜘蛛

  68 66.196.90.* yahoo蜘蛛

  69 66.196.91.* yahoo蜘蛛

  70 68.142.249.* yahoo蜘蛛

  71 68.142.250.* yahoo蜘蛛

  72 68.142.251.* yahoo蜘蛛

  73 202.165.102.* yahoo中国蜘蛛

  74 202.160.178.* yahoo中国蜘蛛

  75 202.160.179.* yahoo中国蜘蛛

  76 202.160.180.* yahoo中国蜘蛛

  77 202.160.181.* yahoo中国蜘蛛

  78 202.160.183.* yahoo中国蜘蛛

  79 72.30.101.* yahoo蜘蛛

  80 72.30.102.* yahoo蜘蛛

  81 72.30.103.* yahoo蜘蛛

  82 72.30.104.* yahoo蜘蛛

  83 72.30.107.* yahoo蜘蛛

  84 72.30.110.* yahoo蜘蛛

  85 72.30.111.* yahoo蜘蛛

  86 72.30.128.* yahoo蜘蛛

  87 72.30.129.* yahoo蜘蛛

  88 72.30.131.* yahoo蜘蛛

  89 72.30.133.* yahoo蜘蛛

  90 72.30.134.* yahoo蜘蛛

  91 72.30.135.* yahoo蜘蛛

  92 72.30.216.* yahoo蜘蛛

  93 72.30.226.* yahoo蜘蛛

  94 72.30.252.* yahoo蜘蛛

  95 72.30.97.* yahoo蜘蛛

  96 72.30.98.* yahoo蜘蛛

  97 72.30.99.* yahoo蜘蛛

  98 74.6.74.* yahoo蜘蛛

  99 202.108.4.* 中搜蜘蛛

  100 202.108.4.* 中搜蜘蛛

  101 202.108.33.* 中搜蜘蛛

  102 202.96.51.* 中搜蜘蛛

  103 219.142.53.* 中搜蜘蛛

  对202.108的IP段一定要注意,这个段的IP地址是位于北京通电报大楼,属于全国互联核心骨干机房,现在

  此IP段已经绝迹了。好多蜘蛛服务器都在这里面,尤其是百度的。

  相信通过这此分析,你就应该对你的站上蜘蛛活动有所了解,进行下一步的计划了吧。

  文章来自: 本人:,愿结交有志的站长.

经期延长不能吃什么
痛经快速的止疼办法
经期延长吃什么药物
本文标签: