當前位置:首頁 > 網站建設

教你查看日志中蜘蛛的訪問行為

時間:2018-01-14 20:02:00來源:網站建設作者:seo實驗室小編閱讀:72次「手機版」
 

蜘蛛日志分析

網站日志,是服務器端自動生成的一個文本記錄,詳細記載了網站的訪問詳情,做為站長的你,如果是需要查看訪問統計數據,那用#或者百度統計 工具就可以了,但是如果你想查看各搜索引擎的蜘蛛是否準時來爬行自己的網站,那就要學會自己查看網站日志文件了。結合我們自己的網站做為一個實例來做一個介紹:

首先利用FTP工具登錄服務器端,一般在服務器根目錄之下存在一個logs文件夾,這里面裝的就是網站日志,當然不同的服務器類型,日志文件的文件夾名稱和我介紹的不一樣,但沒關系,日志文件的擴展名是log。

日志中蜘蛛的訪問行為

進入日志文件夾,你會發現,日志文件是按每一天的訪問情況為一個文件保存的:

日志中蜘蛛的訪問行為

好吧,我的服務器只保留最近三天的日志文件,真小氣,我還用過一個國外的服務器,人家是按月記錄,并且當月結束后會將當月的日志打包供下載,只要你不人為刪除,該日志文件會永遠存在,這才叫個性化,但是沒辦法,誰叫我們只能用國內的服務器。

OK,報怨了幾句,隨便下載一天的日志文件,用windows文本工具打開該日志文件,會看到一堆酷似代碼的字符,祝文件大小打開速度也不同:

日志中蜘蛛的訪問行為

注意看有背景的這一小部分,我用CTRL+F搜索功能查找baiduspider,好吧,為什么要查找baiduspider,這里先普及一下關于搜索引擎蜘蛛的一點小知識,各大搜索引擎的蜘蛛都有名字:

百度的叫baiduspider;

谷歌的叫Googlebot;

微軟的叫bingbot;

搜狐的叫Sogou web spider;

騰訊的叫Sosospider;

因為國內主要是以百度為優化對象,我們來看看關于百度蜘蛛爬行記錄的信息分析,在日志記錄中隨便找一個百度蜘蛛的信息:

125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

怎么解讀這些信息呢?蜘蛛IP--【訪問時間】“獲取路徑”HTTP反饋值200 反饋字節數5357 百度蜘蛛標記。

好吧,這里面獲取路徑與HTTP反饋值是非常重要的信息,200為正常讀取,讀取了5374個字節。我們再分析一條記錄:

220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

認真看獲取路徑這一項,因為我的網站是老域名,原來的主人被收錄的路徑/product/disp.php?id=93,百度蜘蛛同樣爬行,結果我的 新網站里肯定不會有這一條信息,由于HTTP反饋了301,而301代表已移動 — 請求的數據具有新的位置且更改是永久的。其實這對于我來說是一件好事,蜘蛛爬行不通,知道這條收錄記錄已經失效,慢慢就會從百度的收錄數據庫中刪除。現在 百度正在審核我的新站點,一天爬行只有23次,也很不錯了的。

好了,大家是不是可以舉一反三的學會看其它搜索引擎蜘蛛的爬行記錄了呢?下次,筆者將重點再分享一下HTTP的反饋值,大家通過這個反饋值可以獲悉自己網站的健康狀態哦,非常重要。

當然,有朋友會說為什么不利用一些日志查看工具,人工手動察看費時費力,是的,有些不錯的工具可以提供更便捷的操作,今天筆者所述內容旨在用最初級的方法教會大家學會察看自己網站的日志。希望以上內容能對你有點幫助。

本篇文章地址:http://www.cdfei.com/experience/seo/seo-76.html,轉載請注明鏈接謝謝。

相關閱讀

教你怎么做旅游度假類的網站,網絡營銷網站建設

  隨著經濟水平的提高,人民對生活水平要求也越來越高了,平時休息的時候喜歡去旅游旅游,或者找個風景好一點的地方度假。然后相應的

教你一些網絡營銷推廣小知識,記得要看看!

  隨著這幾年互聯網技術的飛速發展,作為新貴的網絡營銷上升勢頭不可阻擋,在互聯網電子商務中占有一席之地。這幾年,網民隊伍的壯大

公眾號內容規劃不會做?教你7步解決運營煩惱!

  內容創作目前仍然是新媒體運營的核心競爭力,做好內容規劃對公眾號來說是重中之重的事情。但是還是有很多人不清楚如何做好內容

畢加索教你玩出讓你一夜成名的事件營銷

  1900年前后,他剛到法國巴黎的時候,沒人認識他。他也只是在法國巴黎靠畫畫為生計的眾多年輕人之一,而法國巴黎的那些畫廊的老板也

白云靠譜的網站優化公司,為企業帶來更多訪問者 

 白云靠譜的網站優化公司,為企業帶來更多訪問者。現在是網絡時代,基本上每家中小企業都有自己的網站,而網站隱藏了很大的平臺,是企業

分享到:

欄目導航

推薦閱讀

熱門閱讀

xxxcom日本黄色