其實Baidu spider在抓取過程中(zhōng)面對的是一(yī)個超級複雜(zá)的網絡環境.爲了使系統可以抓取到盡可能多的有價值的資(zī)源，并保持系統及實際環境中(zhōng)頁面的一(yī)緻性，同時不給網站體(tǐ)驗造成壓力，須設計多種複雜(zá)的抓取策略。



下(xià)面作一(yī)簡單介紹：
 
(1)抓取友好性
  互聯網資(zī)源龐大(dà)的數量級，要求抓取系統盡可能地高效利用帶寬，在有限的硬件和帶寬資(zī)源下(xià)盡可能多地抓取到有價值的資(zī)源。這就造成另一(yī)個問題:耗費(fèi)被抓網站的帶寬造成訪問壓力，如果程度過大(dà)，将直接影響被抓網站的正常用戶訪問行爲。因此，在抓取過程中(zhōng)就要進行一(yī)定的抓取壓力控制，達到既不影響網站的正常用戶訪問又(yòu)能盡量多地抓取到有價值資(zī)源的目的。
  通常，最基本的是基于IP的壓力控制。因爲如果基于域名，可能存在一(yī)個域名對多個IP(很多大(dà)網站)或多個域名對應同一(yī)個IP(小(xiǎo)網站共享IP)的問題。實際中(zhōng)往往根據P及域名的多種條件進行壓力調配控制。同時，站長平台也推出了壓力反饋工(gōng)具，站長可以人工(gōng)調配對自己網站的抓取壓力，這時!百度spider将優先按照站長的要求進行抓取壓力控制。
對同一(yī)站點的抓取速度控制一(yī)般分(fēn)爲兩類:
其一(yī)，一(yī)段時間内的抓取頻(pín)率；
其二，段時間内的抓取流量。
同一(yī)站點不同的時間抓取速度也不同。例如，夜晚抓取的可能就會快一(yī)些，也視具體(tǐ)站點類型而定，主要思想是錯開(kāi)正常用戶訪問高峰，不斷調整。對于不同站點，也需要不同的抓取速度。
 
(2)常用抓取返回碼示意
  下(xià)面簡單介紹幾種百度支持的返回碼。
①最常見的404代表“NOT FOUND”，認爲網頁已經失效，通常将在庫中(zhōng)删除，同時短期内如果spider再次發現這條URL.也不會抓取。
②503代表“Service unavailabl ，認爲網頁臨時不可訪問，通常網站臨時關閉，帶寬有限等會産生(shēng)這種情況。對于網頁返回503百度spider不會把這條url直接删除，同時短期内将會反複訪問幾次，如果網頁已恢複，則正常抓取；如果繼續503狀态碼，那麽這條URL仍會被認爲是失效鏈接，從庫中(zhōng)删除。
③403代表Forbidden，認爲網頁目前禁止訪問。如果是新URL， spider暫時不抓取，短期内同樣會反複訪問幾次；如果是已收錄UHL，不會直接删除，短期内同樣反複訪認爲是失效鏈接，從庫中(zhōng)删除。問幾次。如果網頁正常訪問，則正常抓取；如果仍然禁止訪問，那麽這條URL也會被。
④301代表“Moved”認爲網頁重定向至新URL當遇到站點遷移 域名更換、站點改版的情況時，推薦使用301返回碼，同田時使用站長平台網站改版工(gōng)具，以減少改版對網站流量造成的損失。
 
(3)多種URL重定向的識别
  互聯網中(zhōng)的一(yī)部分(fēn)網頁因爲各種各樣的原因存在URL重定向狀态，爲了對這部分(fēn)資(zī)源正常抓取，要求 spider對URL重定向進行識别判斷，同時防止作弊行爲。重定向可分(fēn)爲三類:htp30x重定向、 meta refresh重定向和js重定向。另外(wài)，百度也支持Canonical标簽，在效果上也可以認爲是一(yī)種間接的重定向。
 
(4)抓取優先級調配
  由于互聯網資(zī)源規模巨大(dà)以及變化迅速，對于搜索引擎來說，全部抓取到并合理地更新，保持一(yī)緻性幾乎是不可能的事情，因此要求抓取系統設計一(yī)套合理的抓取優先級調配策略，主要包括深度優先遍曆策略、寬度優先遍曆策略、pr優先策略、反鏈策略、社會化分(fēn)享指導策略等。每個策略各有優劣，在實際情況中(zhōng)往往是多種策略結合使用，以達到最優的抓取效果。
 
(5)重複URL的過濾
  spider在抓取過程中(zhōng)需要判斷一(yī)個頁面是否已經抓取過了，如果還沒有抓取，再進行抓取網頁的行爲，并放(fàng)在已抓取網址集合中(zhōng)。判斷是否已經抓取其中(zhōng)涉及最核心的是快速查找并對比，同時于涉及URL歸一(yī)化識别。例如，一(yī)個URL中(zhōng)包含大(dà)量無效參數，而實際是同一(yī)個頁面，這将視爲同一(yī)個URL來對待。
 
(6)暗網數據的獲取
  互聯網中(zhōng)存在着大(dà)量的搜索引擎暫時無法抓取到的數據，被稱爲暗網數據。一(yī)方面，很多網站的大(dà)量數據存在于網絡數據庫中(zhōng)，spider難以采用抓取網頁的方式獲得完整内容；另一(yī)方面，由于網絡環境、網站本身不符合規範、孤島等問題，也會造成搜索引擎無法抓取。目前，對于暗網數據的獲取，主要思路仍然是通過開(kāi)放(fàng)平台采用數據提交的方式來解決，如“百度站長平台”“百度開(kāi)放(fàng)平台”等。
 
(7)抓取反作弊
  spider在抓取過程中(zhōng)往往會遇到所謂抓取黑洞，或者面臨大(dà)量低質量頁面的因擾這就要求抓取系統中(zhōng)同樣需要設計一(yī)套完善的抓取反作弊系統。例如，分(fēn)析URL特征分(fēn)析頁面大(dà)小(xiǎo)及内容、分(fēn)析站點規模對應抓取規模等。Spider抓取系統是搜索引擎數據來源的重要保證，這對于網站制作、網站建設、網站設計者來說就是機遇和突破口，具體(tǐ)的做法就千差萬别了。