IIS日志的用途就是能夠觀察搜索引擎的蜘蛛來我們網(wǎng)站的爬取情況,可以更近距離的分析和接觸蜘蛛。爬取次數(shù),爬取時間點,爬取高峰期,爬取反應(yīng)出來的HTTP狀態(tài)碼,為我們帶來清晰的分析便利。
一、各大搜索引擎的蜘蛛名稱:
百度(Baidu)爬蟲名稱(Baiduspider)
谷歌(Google)爬蟲名稱(Googlebot)
雅虎(Yahoo)爬蟲名稱(Yahoo Slurp)
有道(Yodao)蜘蛛名稱(YodaoBot)
搜狗(sogou)蜘蛛名稱(sogou spider)
MSN的蜘蛛名稱:msnbot
二、IIS分析:
案例日志:61.135.168.22 – – [11/Jan/2009:04:02:45 +0800] “GET /thread-7303-1-1.html HTTP/1.1” 200 8450 “-” “Baiduspider(+http://xintu.baidu.com/search/spider.htm)”
分析:
1、61.135.168.22 是訪問了是服務(wù)器IP為這個的網(wǎng)站.
2、11/Jan/2009:04:02:45 表示蜘蛛爬行時間
3、GET /thread-7303-1-1.html HTTP,表示蜘蛛抓取了這個頁面。
4、200 狀態(tài)碼表示蜘蛛抓取頁面成功;404表示蜘蛛抓取頁面失敗。
5、8450 表示此次抓取了8450個字節(jié)
6、Baiduspider(+http://xintu.baidu.com/search/spider.htm)表示百度蜘蛛的名稱
三、基本狀態(tài)碼:
200:請求已經(jīng)完成,蜘蛛訪問頁面正常
301:已經(jīng)移動,永久重定向
302:臨時重定向
304:蜘蛛爬取后發(fā)現(xiàn),頁面沒有修改
305:使用代理
400:請求錯誤
404:找不到頁面
四、IIS詳細(xì)狀態(tài)碼含義:
403.7 – 要求客戶端證書。
403.8 – 站點訪問被拒絕。
403.9 – 用戶數(shù)過多。
403.10 – 配置無效。
403.11 – 密碼更改。
403.12 – 拒絕訪問映射表。
403.13 – 客戶端證書被吊銷。
403.14 – 拒絕目錄列表。
403.15 – 超出客戶端訪問許可。
403.16 – 客戶端證書不受信任或無效。
403.17 – 客戶端證書已過期或尚未生效。
403.18 – 在當(dāng)前的應(yīng)用程序池中不能執(zhí)行所請求的 URL.這個錯誤代碼為 IIS 6.0 所專用。
403.19 – 不能為這個應(yīng)用程序池中的客戶端執(zhí)行 CGI.這個錯誤代碼為 IIS 6.0 所專用。
403.20 – Passport 登錄失敗。這個錯誤代碼為 IIS 6.0 所專用。
404 – 未找到請求的內(nèi)容。
404.0 – 未找到文件或目錄。
404.1 – 無法在所請求的端口上訪問 Web站點。
404.2 – Web 服務(wù)擴(kuò)展鎖定策略阻止本請求。
404.3 – MIME 映射策略阻止本請求。
405 – 用來訪問本頁面的 HTTP 謂詞不被允許(方法不被允許)
406 – 客戶端瀏覽器不接受所請求頁面的 MIME 類型。
407 – 要求進(jìn)行代理身份驗證。
412 – 前提條件失敗。
413 – 請求實體太大。
414 – 請求 URI 太長。
415 – 不支持的媒體類型。
416 – 所請求的范圍無法滿足。
417 – 執(zhí)行失敗。
423 – 鎖定的錯誤。
500 – 服務(wù)器內(nèi)部錯誤。
500.12 – 應(yīng)用程序正忙于在 Web 服務(wù)器上重新啟動。
500.13 – Web 服務(wù)器太忙。
500.15 – 不允許直接請求 Global.asa.
500.16 – UNC 授權(quán)憑據(jù)不正確。這個錯誤代碼為 IIS 6.0 所專用。
500.18 – URL 授權(quán)存儲不能打開。這個錯誤代碼為 IIS 6.0 所專用。
500.100 – 內(nèi)部 ASP 錯誤。
501 – 服務(wù)器無法完成請求的功能。
502 – 服務(wù)器用作網(wǎng)關(guān)或代理服務(wù)器時收到了無效響應(yīng)。
502.1 – CGI 應(yīng)用程序超時。
502.2 – CGI 應(yīng)用程序出錯。
503 – 服務(wù)不可用。這個錯誤代碼為 IIS 6.0 所專用。
504 – 網(wǎng)關(guān)超時。
505 – HTTP 版本不受支持。我們繼續(xù)學(xué)習(xí)下,如何看IIS日志代碼,打開IIS日志后,你會看見里面有很多訪問記錄。baiduspider,Googlebot等就是蜘蛛了。蜘蛛爬過后都會留下記錄的,我將狀態(tài)代碼列在下面:
100 – 表示已收到請求的一部分,正在繼續(xù)發(fā)送余下部分。
101 – 切換協(xié)議。
200 – 確定??蛻舳苏埱笠殉晒?。
2XX – 成功 服務(wù)器成功地接受了客戶端請求。 (只要是2XX的狀態(tài),都表示成功)
200 – 確定??蛻舳苏埱笠殉晒?。
201 – 已創(chuàng)建。
202 – 已接受。
203 – 非權(quán)威性信息。
204 – 無內(nèi)容。
205 – 重置內(nèi)容。
206 – 部分內(nèi)容。
300 – 針對收到請求,服務(wù)器可執(zhí)行多種操作。
301 – 永久移動轉(zhuǎn)移,請求的內(nèi)容已永久移動其他新位置。
302 – 臨時移動轉(zhuǎn)移,請求的內(nèi)容已臨時移動新的位置
304 – 未修改。自從上次請求后,請求的內(nèi)容未修改過。
307 – 臨時重定向。服務(wù)器目前從不同位置響應(yīng)請求,但請求者應(yīng)繼續(xù)使用原有位置來進(jìn)行以后的請求。
400 – 錯誤的請求。
401 – 訪問被拒絕。IIS 定義了許多不同的 401 錯誤,它們指明更為具體的錯誤原因。這些具體的錯誤代碼在瀏覽器中顯示,但不在 IIS 日志中顯示:
401.1 – 登錄失敗。
401.2 – 服務(wù)器配置導(dǎo)致登錄失敗。
401.3 – 由于 ACL 對資源的限制而未獲得授權(quán)。
401.4 – 篩選器授權(quán)失敗。
401.5 – ISAPI/CGI 應(yīng)用程序授權(quán)失敗。
401.7 – 訪問被 Web 服務(wù)器上的 URL 授權(quán)策略拒絕。這個錯誤代碼為 IIS 6.0 所專用。
403 – 禁止訪問:IIS 定義了許多不同的 403 錯誤,它們指明更為具體的錯誤原因:
403.1 – 執(zhí)行訪問被禁止。
403.2 – 讀訪問被禁止。
403.3 – 寫訪問被禁止。
403.4 – 要求 SSL.
403.5 – 要求 SSL 128.
403.6 – IP 地址被拒絕。
403.7 – 要求客戶端證書。
403.8 – 站點訪問被拒絕。
403.9 – 用戶數(shù)過多。
403.10 – 配置無效。
403.11 – 密碼更改。
403.12 – 拒絕訪問映射表。
403.13 – 客戶端證書被吊銷。
403.14 – 拒絕目錄列表。
403.15 – 超出客戶端訪問許可。
403.16 – 客戶端證書不受信任或無效。
403.17 – 客戶端證書已過期或尚未生效。
403.18 – 在當(dāng)前的應(yīng)用程序池中不能執(zhí)行所請求的 URL.這個錯誤代碼為 IIS 6.0 所專用。
403.19 – 不能為這個應(yīng)用程序池中的客戶端執(zhí)行 CGI.這個錯誤代碼為 IIS 6.0 所專用。
403.20 – Passport 登錄失敗。這個錯誤代碼為 IIS 6.0 所專用。
404 – 未找到請求的內(nèi)容。
404.0 – 未找到文件或目錄。
404.1 – 無法在所請求的端口上訪問 Web站點。
404.2 – Web 服務(wù)擴(kuò)展鎖定策略阻止本請求。
404.3 – MIME 映射策略阻止本請求。
405 – 用來訪問本頁面的 HTTP 謂詞不被允許(方法不被允許)
406 – 客戶端瀏覽器不接受所請求頁面的 MIME 類型。
407 – 要求進(jìn)行代理身份驗證。
412 – 前提條件失敗。更多學(xué)習(xí)資料加
413 – 請求實體太大。
414 – 請求 URI 太長。
415 – 不支持的媒體類型。
416 – 所請求的范圍無法滿足。
417 – 執(zhí)行失敗。
423 – 鎖定的錯誤。
500 – 服務(wù)器內(nèi)部錯誤。
500.12 – 應(yīng)用程序正忙于在 Web 服務(wù)器上重新啟動。
500.13 – Web 服務(wù)器太忙。
500.15 – 不允許直接請求 Global.asa.
500.16 – UNC 授權(quán)憑據(jù)不正確。這個錯誤代碼為 IIS 6.0 所專用。
500.18 – URL 授權(quán)存儲不能打開。這個錯誤代碼為 IIS 6.0 所專用。
500.100 – 內(nèi)部 ASP 錯誤。
501 – 服務(wù)器無法完成請求的功能。
502 – 服務(wù)器用作網(wǎng)關(guān)或代理服務(wù)器時收到了無效響應(yīng)。
502.1 – CGI 應(yīng)用程序超時。
502.2 – CGI 應(yīng)用程序出錯。
503 – 服務(wù)不可用。這個錯誤代碼為 IIS 6.0 所專用。
504 – 網(wǎng)關(guān)超時。
505 – HTTP 版本不受支持。
下面是小編在公司整理到的一些行業(yè)優(yōu)化教程和SEO優(yōu)化工具包(部分截圖), 關(guān)注小編并私信”SEO“即可免費領(lǐng)取哦!
35G行業(yè)優(yōu)化方案,SEO教程包含:最基礎(chǔ)的建站搭建內(nèi)部優(yōu)化+網(wǎng)站定位 [原創(chuàng)偽原創(chuàng)內(nèi)容制作技巧,內(nèi)鏈系統(tǒng)優(yōu)化建立]到網(wǎng)站運營,網(wǎng)站推廣思路策劃,SEO項目實戰(zhàn)的學(xué)習(xí)資料都有整理,送給每一位SEO小伙伴, 有想學(xué)習(xí)SEO的,或是轉(zhuǎn)行,或是大學(xué)生,還有工作中想提升自己能力的,正在學(xué)習(xí)的小伙伴歡迎加入學(xué)習(xí)!
掃描二維碼推送至手機訪問。
版權(quán)聲明:本文由信途科技轉(zhuǎn)載于網(wǎng)絡(luò),如有侵權(quán)聯(lián)系站長刪除。
轉(zhuǎn)載請注明出處http://www.quickersubmitter.com/xintu/19310.html