上面介紹了影響Baidu spider正常抓取的原因，下(xià)面介紹Baidu spider的一(yī)些判斷原則。在建庫環節前，Baidu spider會對頁面進行初步内容分(fēn)析和鏈接分(fēn)析，通過内容分(fēn)析決定該網頁是否需要建索引庫，通過鏈接分(fēn)析發現更多網頁，再對更多網頁進行抓取—一(yī)分(fēn)析是否建庫&發現新鏈接的流程。理論上，Baidu spider會将新頁面上所有能“看到”的鏈接都抓取回來。那麽，面對衆多新鏈接， Bartender根據以下(xià)兩個方面判斷哪個更重要。



(1)對用戶的價值
①内容獨特，百度搜索引擎喜歡 unigue的内容。
②主體(tǐ)突出，切不要出現網站制作主體(tǐ)内容不突出而被搜索引擎誤判爲空短頁面不抓取的情況。
③内容豐富。
④廣告适當。
 
(2)鏈接的重要程度
①目錄層級——淺層優先。
②鏈接在站内的受歡迎程度。