百度站長平臺(tái)-抓取建庫篇SEO知識(shí)分享，官方的回答，更正規(guī)

發(fā)布時(shí)間：2014-12-10 來源：本站原創(chuàng) 作者：野狼SEO團(tuán)隊(duì) 閱讀：652次

　　很多經(jīng)常關(guān)注SEO的朋友都會(huì)時(shí)不時(shí)的看一看百度站長平臺(tái)，因?yàn)檫@個(gè)平臺(tái)對(duì)于SEO真是太重要了，很多百度內(nèi)部工程師的一些關(guān)注點(diǎn)，看法，在這里都可以找到一些蛛絲馬跡，在工作中就能夠改進(jìn)自己的SEO策略。所以我們也會(huì)整理一些百度站長平臺(tái)上的一些信息給大家來看（注意：紅色的字是野狼標(biāo)注的）。以下是全部內(nèi)容：

　　首先，小編要對(duì)各位站長朋友說聲抱歉，VIP大講堂上海站已經(jīng)過去N久，QA內(nèi)容今天才發(fā)布出來。各位站長參加VIP大講堂，除了聆聽官方聲音外，更重要的是可以與百度專家進(jìn)行面對(duì)面的溝通。VIP大講堂上海站請(qǐng)出了百度spider專家孫權(quán)，這是他第一次走出來與站長進(jìn)行培訓(xùn)交流，課程中抖出干貨無數(shù)，各位無法參與現(xiàn)場(chǎng)培訓(xùn)的站長除了申請(qǐng)觀看培訓(xùn)現(xiàn)場(chǎng)視頻外，還可以通過QA記錄看看自己心中的疑問是否已被解答。（此處應(yīng)該有掌聲，百度不輕易抖摟自己的一些算法的，所以后邊的大家一定要仔細(xì)的揣摩每一個(gè)字）

　　由于現(xiàn)場(chǎng)QA環(huán)節(jié)火爆熱烈內(nèi)容超多，故本次僅放出spider抓取建庫部分，其它內(nèi)容請(qǐng)靜待下期。

　　問：為什么收錄量像坐過山車一樣的，還有為什么有些網(wǎng)頁今天在明天就沒了？

　　答：百度會(huì)周期建庫，且每個(gè)庫的收錄量是恒定的，你老是有新增，肯定會(huì)再從庫里淘汰一些，反正總是保持那個(gè)庫是滿的。在建庫的過程中，你會(huì)感覺有波動(dòng)。具體的怎么篩，哪個(gè)頁面會(huì)留下哪個(gè)頁面會(huì)淘汰，這個(gè)策略是有很多的，他隨著時(shí)間的變化，收錄的標(biāo)準(zhǔn)策略也是在發(fā)生微調(diào)。（這里工程師似乎沒有正面回答，閃爍其詞，是不是有其他方面的壓力？）

　　問：我們站點(diǎn)使用CDN加速會(huì)不會(huì)比較容易造成蜘蛛無法抓??？因?yàn)橛袝r(shí)候修改掉他綁定的什么東西。

　　答：如果要修改掉一定要通知到上一級(jí)，現(xiàn)在不存在這個(gè)問題，現(xiàn)在你如果修改掉也可以解析掉，之前可能會(huì)存在這個(gè)問題。（這里邊似乎說的不太明白，野狼的理解是他現(xiàn)在的抓取應(yīng)該是模擬人進(jìn)行，不管IP了，人能訪問他也能訪問，以前可能比較關(guān)注IP）

　　問：你們百度自己也有一個(gè)CDN加速，對(duì)抓錄排名有沒有影響？

　　答：在使用CDN加速這個(gè)問題上，我們對(duì)所有站點(diǎn)一視同仁。但我建議你使用技術(shù)能力強(qiáng)的CDN服務(wù)商，保證站點(diǎn)的穩(wěn)定和速度，百度會(huì)更喜歡。（好吧，百度一家獨(dú)大嘛，還是用你們的好了）

　　問：剛才您說IP上的站點(diǎn)數(shù)不能太多，那CDN這種情況怎么辦？

　　答：CDN的情況另說，如果我們識(shí)別出來是CDN的話不會(huì)受站點(diǎn)數(shù)量的影響，如果你是提供獨(dú)立IP的話會(huì)有這樣一些問題。（看來用CDN還是有好處的，能隱藏服務(wù)器站點(diǎn)數(shù)量的問題，百度還是有點(diǎn)老古板，估計(jì)以后IP與網(wǎng)站數(shù)量會(huì)徹底沒關(guān)系，但是現(xiàn)在還是有影響，主要應(yīng)該是對(duì)獨(dú)立IP站點(diǎn)增加權(quán)重）

　　問：還是IP上站點(diǎn)數(shù)量的問題，如果是主域跟二級(jí)域名呢？也受數(shù)量限制？

　　答：我說的是獨(dú)立域名。當(dāng)然質(zhì)量比較好的二級(jí)域名也可以認(rèn)為是獨(dú)立域名。（好吧，這個(gè)問題野狼似乎有所頓悟）

　　問：多個(gè)域名，他有相同的一些內(nèi)容，怎么建庫？

　　答：如果是多域名在同一個(gè)主域下面有相同內(nèi)容的話，不可能所有都建庫，而且被建庫的那個(gè)可能不是你希望的那個(gè)，所以盡量不要有相同的內(nèi)容。（一個(gè)網(wǎng)站多域名不可取，）

　　問：剛才講的IP如果是多域名的話，好幾百個(gè)IP域名，現(xiàn)在我們也用了CDN，按照剛才的說法，單個(gè)IP最多抓多少？1000萬是說對(duì)站點(diǎn)還是對(duì)IP？

　　答：對(duì)IP，但1000萬是我舉例，不是實(shí)際的數(shù)據(jù)，這個(gè)數(shù)據(jù)不會(huì)分享出來的。

　　問：現(xiàn)在我的網(wǎng)站被很多蜘蛛爬，我想只讓百度蜘蛛爬，百度蜘蛛IP多少？能設(shè)白名單么？

　　答：百度蜘蛛IP是不斷變的，現(xiàn)在網(wǎng)上的確有一些白名單的說法，暫時(shí)是有較的，但不保證今后不會(huì)變，所以建議站點(diǎn)還是通過ua進(jìn)行判斷，我們百度站長平臺(tái)上有相關(guān)的文章，你可以找一下。（這個(gè)問題野狼用不到）

　　問：如果我寫robots只想禁掉動(dòng)態(tài)鏈接的話，會(huì)不會(huì)影響動(dòng)態(tài)參數(shù)前面正常鏈接的抓??？

　　答：不會(huì)的，你原來的頁面還在，肯定會(huì)抓。（這個(gè)問題有點(diǎn)弱智^-^小看百度的技術(shù)能力了）

　　問：比如我們一個(gè)域名www.abcde.com，我們想把帶？號(hào)的url全部禁掉，首頁我們不要禁掉，怎么弄？

　　答：？前面有個(gè)*，后面再有個(gè)*就可以了。

　　問：我想了解，如果我現(xiàn)在收錄有5萬，大概多長時(shí)間才能把我原來收錄5萬重新抓取一遍？

　　答：不同站點(diǎn)不好說，一個(gè)是你站點(diǎn)做的很好，知名度很響更新很快質(zhì)量很好就會(huì)快；如果你的站點(diǎn)默默無聞，貢獻(xiàn)很少，可能就會(huì)很慢。

　?。ń由蟼€(gè)問題）

　　問：就是差不多的情況，大概。

　　答：這個(gè)沒有人能估出來。

　　問：百度站長平臺(tái)上有數(shù)據(jù)提交的工具，我們實(shí)時(shí)提交，你們也會(huì)實(shí)時(shí)抓取嗎？

　　答：不會(huì)，他會(huì)有一層判斷?，F(xiàn)在只是通知你提交成功，后面什么時(shí)候抓，什么時(shí)候建庫沒有，我們正在研究要不要把這個(gè)分享出來。（會(huì)有滯后）

　　問：我網(wǎng)站有一些列表頁，都沒有鏈接，擔(dān)心百度抓不到

　　答：現(xiàn)在百度站長平臺(tái)的站內(nèi)搜索工具有一個(gè)綠色收錄通道，在那里提交種子頁，我們就知道的。

　?。ń由蟼€(gè)問題）

　　問：提交種子頁面必須要用站搜？

　　答：是的。

　　問：如果說頁面里url特別多的話，蜘蛛會(huì)不會(huì)有選擇性的進(jìn)行抓取？

　　答：不會(huì)，他都會(huì)一個(gè)不漏給你提出來，但會(huì)把JS、CSS這樣的鏈接給過濾掉。但請(qǐng)注意，全部抓取過來之后會(huì)進(jìn)行篩選，并不是所有都會(huì)建庫。（JS，CSS過濾掉，但這里不要有誤會(huì)，CSS樣式還是能影響到網(wǎng)頁排名的，只是說百度不把他們當(dāng)網(wǎng)頁索引而已）

　　問：現(xiàn)在很多網(wǎng)站都有自己的站內(nèi)搜索，都會(huì)產(chǎn)生站內(nèi)搜索結(jié)果頁，百度不喜歡搜索結(jié)果頁的話，我們用這個(gè)會(huì)不會(huì)對(duì)我們有影響？只是不喜歡還是對(duì)我們網(wǎng)站會(huì)有懲罰

　　答：蜘蛛會(huì)去抓，抓完之后重要是提取里面的鏈接。如果只有一兩條這樣的頁面質(zhì)量不好問題不大，如果整體質(zhì)量較差，有可能受到懲罰。

　　問：新出的時(shí)效性文章當(dāng)時(shí)沒有被收錄，后期是否還會(huì)被收錄？

　　答：會(huì)

　　問：站點(diǎn)每天最高爬蟲多少次？

　　答：這個(gè)其實(shí)說不好，有的站點(diǎn)我們一天會(huì)抓一兩千萬，有的站點(diǎn)只抓幾個(gè)、幾十個(gè)，看你的規(guī)模和質(zhì)量，而且這個(gè)抓取量也是會(huì)根據(jù)網(wǎng)站的情況進(jìn)行調(diào)整的。（野狼見過有一個(gè)很小的網(wǎng)站一天抓取幾十萬的，我也是醉了啊，看來這個(gè)地方百度還是得下功夫呢）