IIS日志分析

第五章:IIS日志分析
一、IIS日志是什么
對于SEO從事人員來說IIS應該是經常聽到的名詞,可是很多人卻不知道怎么運用,對IIS日志的了解并不徹底,其實大多數人說的IIS日志這個叫法并不正確,正確的說法應該是服務器日志,造成這個誤會的說法是因為現在市面上的IIS服務器所占市場比例高,很多人用的空間都是IIS服務器的,現在市面上主流存在兩個服務器,IIS服務器和Apache服務器,所以正確的說法應該是服務器日記,服務器日志是每個服務器管理者都必須學會查看的,服務器的一些狀況和訪問IP的來源都會記錄在服務器日志中,所以服務器日志對每個服務器管理者非常的重要,seoer也不例外,這點同時也可方便網站管理人員查看網站的運營情況。
二、IIS日志分析的目標
1、通過分析每天爬取的數量,停留的時間等來了解搜索引擎對于網站的評價。
2.掌握根據搜索引擎爬取的記錄直接來分析網站的狀況。
3.根據日志記錄可以提前預防危機。
三、如何分析IIS日志
如何看日志:
第一步:日志是由服務商提供。
得問清楚是否提供這樣的功能、設置。
第二點:如何下載日志、以及日志的設置要求。
建議:日志以小時為時間段來生存,因為文件大小比較大,會使電腦死機。
指點生成到指點文件夾,買的空間。鏈接ftp后可以直接看到的日志文件夾。
第三步:如何分析。
選擇格式里面的自動換行。
編輯里面有個查找功能,ctrl+f 查找百度蜘蛛baiduspider
和google機器人。googlebot
IIS日志為例
1.打開IIS日志服務器日志
#Software: Microsoft Internet Information Services 7.5
#Version: 1.0
#Date: 2012-04-16 05:00:00
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status time-taken
這個是IIS日志頭部的文件說明,第一行(software),第二行(Version)都是說明這個日志是在一個什么樣的IIS版本下生產的,第三行(Data)是一個生成日期,第四行(Fields)是文件格式,同時也是非常重要的,這個文件格式對應說明了下面生成日志數值的具體意思。
2.文件格式詳細解答
date time 爬行時間
s-ip 服務器IP地址
cs-method GET命令
cs-uri-stem 用戶訪問iis的資源
cs-uri-query 客戶端正在嘗試執行
s-port服務器端口
cs-username 用戶名
c-ip cs(User-Agent)客戶IP
sc-status 協議狀態
sc-substatus sc-win32-status win32狀態 (200正常、404是找不到文件、304網頁內容未改變等)
time-taken所用時間
四、案例講解
220.181.108.184 – - [15/May/2012:06:57:50 +0800] “GET /office/shuzichuanmeidasha.html HTTP/1.1″ 301 338 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
220.181.108.172 – - [15/May/2012:06:57:50 +0800] “GET /office/shuzichuanmeidasha.html HTTP/1.1″ 404 816 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
為什么要反復訪問301在訪問404的情況?我們繼續分析日志
220.181.108.174 – - [15/May/2012:08:39:35 +0800] “GET / HTTP/1.1″ 301 308 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
這是爬取的是根目錄,出現了301,根據上面情況,他爬取301后在在爬取一個正常的。
220.181.108.187 – - [15/May/2012:08:39:36 +0800] “GET / HTTP/1.1″ 200 9846 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
百度的IP:187爬取的是200,174爬取的是301,172爬取是404
回顧:
301 是IP 174
220.181.108.187 – - [15/May/2012:08:39:36 +0800] “GET / HTTP/1.1″ 200 9846 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
404 是IP172
220.181.108.172 – - [15/May/2012:06:57:50 +0800] “GET /office/shuzichuanmeidasha.html HTTP/1.1″ 404 816 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”
301 是IP184
220.181.108.184 – - [15/May/2012:06:57:50 +0800] “GET /office/shuzichuanmeidasha.html HTTP/1.1″ 301 338 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

404 是IP 174

220.181.108.140 – - [15/May/2012:06:51:13 +0800] “GET /office/guanjingxiezilou.html HTTP/1.1″ 404 816 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

404 是IP 140

220.181.108.140 – - [15/May/2012:06:51:13 +0800] “GET /office/guanjingxiezilou.html HTTP/1.1″ 404 816 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

301 是IP 153

220.181.108.153 – - [15/May/2012:06:51:11 +0800] “GET /office/guanjingxiezilou.html HTTP/1.1″ 301 336 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

404 是IP 97

220.181.108.97 – - [15/May/2012:05:16:41 +0800] “GET /office/tianyuandasha.html HTTP/1.1″ 404 816 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

200 是IP 145 正常的

220.181.108.145 – - [15/May/2012:08:39:41 +0800] “GET /thread-99-1-1.html HTTP/1.1″ 200 8712 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

200 是IP 80 正常的

220.181.108.80 – - [15/May/2012:08:39:44 +0800] “GET /thread-100-1-1.html HTTP/1.1″ 200 8306 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

200 是IP 123.125.71.45 它是聯通的IP 又一個百度IP段 123.125.71.*

123.125.71.45 – - [15/May/2012:09:41:30 +0800] “GET /thread-103-1-1.html HTTP/1.1″ 200 7577 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

假IP 125.90.93.141

125.90.93.141 – - [15/May/2012:10:04:30 +0800] “GET / HTTP/1.1″ 200 9823 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

200 是IP 79

220.181.108.79 – - [15/May/2012:10:33:07 +0800] “GET /thread-100-1-1.html HTTP/1.1″ 200 8305 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

百度的

220.181.108.184 – - [15/May/2012:10:33:32 +0800] “GET /thread-99-1-1.html HTTP/1.1″ 200 9222 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

百度的

220.181.108.176 – - [15/May/2012:11:23:11 +0800] “GET /forum-37-1.html HTTP/1.1″ 200 6781 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

百度的

220.181.108.185 – - [15/May/2012:11:30:25 +0800] “GET /forum-46-1.html HTTP/1.1″ 200 7819 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

假IP

125.90.93.141 – - [15/May/2012:12:25:13 +0800] “GET / HTTP/1.1″ 200 9888 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

百度的

220.181.108.80 – - [15/May/2012:12:35:09 +0800] “GET / HTTP/1.1″ 200 9930 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

百度的

220.181.108.89 – - [15/May/2012:12:35:11 +0800] “GET /space-username-%CB%C4%C0%C9.html HTTP/1.1″ 200 5249 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

統計:

假的 125.90.93.141 125.90.93.141

404 是IP 220.181.108.97 220.181.108.140 220.181.108.172

301 是IP 220.181.108.153 220.181.108.184 220.181.108.187

五、總結

我們是不能使用IP工具查詢日志,必須人工,假IP很多。數據太多把日志以小時記錄保存,進行抽樣統計。

我們來做3個總結:

1、我們要計算并且統計的百度蜘蛛的IP以及IP段

2、我們要統計出來那些蜘蛛的IP出現異常,我們以后的工作具有參考意義

3、我們要統計蜘蛛抓取的是我們那些頁面,以及抓取頁面的頻率

1.了解蜘蛛對網站的基本爬取情況,可以知道蜘蛛的爬取軌跡和爬取量、參考考察外鏈的發布效果。

2.提前預警:服務器的穩定性和服務器的打開速度。

3.網站的哪些頁面受到蜘蛛的喜歡,蜘蛛抓取的高峰和低谷,了解網站的狀況。知道哪些蜘蛛來爬過,收到哪些蜘蛛的喜歡,對哪些損耗服務器資源的蜘蛛進行屏蔽。

本文固定鏈接: http://www.cimtve.live/seojiaocheng/177.html | 無錫SEO

該文章由 無錫seo 于2012年05月18日發表在 SEO高級課 分類下, 訪客可以發表評論,并在保留原文地址及作者的情況下引用到你的網站或博客!
原創文章,轉載請注明: IIS日志分析 | 無錫SEO
【上一篇】
【下一篇】
收縮
福彩三d走势图 单机捕鱼达人1最旧版本 安卓手机 乐趣江苏麻将 竞彩比分直播即时比分 在微信陪人聊天赚钱 广东快乐十分 川麻圈代理如何赚钱 亿豪彩票游戏 米赚怎么快速赚钱 宝马彩票群 代理出口公司赚钱的方式 诚信彩网址 玩斗音怎么赚钱 秒速飞艇 吉林心悦麻将手机版的下载 易发彩票安卓 1688店铺 赚钱