做網(wǎng)站/做SEO/解決各類(lèi)網(wǎng)站問(wèn)題，直接與技術(shù)談！

百度蜘蛛爬蟲(chóng)訪問(wèn)壓力太大應(yīng)該怎么辦才能利于seo又能降低壓力

發(fā)布時(shí)間：2014-12-29 來(lái)源：本站原創(chuàng) 作者：野狼SEO團(tuán)隊(duì) 閱讀：2038次

　　很多個(gè)大網(wǎng)站估計(jì)也都遇到過(guò)這樣的問(wèn)題：蜘蛛訪問(wèn)壓力非常的大，服務(wù)器壓力太大沒(méi)有辦法就采取很多操作。但是很多人因?yàn)椴扇〉牟僮鞑磺‘?dāng)而造成網(wǎng)站出現(xiàn)問(wèn)題。今天我們就先來(lái)看看站長(zhǎng)平臺(tái)上官方給與這個(gè)問(wèn)題的解釋。下邊是站長(zhǎng)俱樂(lè)部廣州沙龍的一個(gè)問(wèn)答：

　　黃勇：有一天我們有一個(gè)網(wǎng)站發(fā)現(xiàn)來(lái)了非常多的爬蟲(chóng)，給服務(wù)器造成了極大的壓力。于是我們緊急屏蔽了所有爬蟲(chóng)IP和UA?？墒堑纫欢螘r(shí)間后，我們解除解禁后，卻發(fā)現(xiàn)恢復(fù)起來(lái)非常緩慢，基本上兩個(gè)月后才回到了當(dāng)時(shí)的水平。大家的站越做越大，肯定會(huì)遇到龐大的訪問(wèn)壓力、抓蟲(chóng)抓取方面的問(wèn)題，所以想借此機(jī)會(huì)咨詢(xún)一下，看在這方面有沒(méi)有一個(gè)好的解決辦法。

　　王淘：理論上講，站點(diǎn)屏蔽了Baiduspider后的恢復(fù)周期的確比較長(zhǎng)，但是有沒(méi)有措施就請(qǐng)孫權(quán)講一下了。

　　孫權(quán)：通過(guò)封禁UA或IP的方式來(lái)拒絕百度蜘蛛，一天以上后果都是非常嚴(yán)重的。就這個(gè)問(wèn)題來(lái)說(shuō)目前沒(méi)有快速的方法可以讓你在短時(shí)間內(nèi)恢復(fù)。這是站點(diǎn)自身運(yùn)行的一個(gè)故障，并不是百度策略上面有什么問(wèn)題。還有就是，網(wǎng)站在無(wú)法訪問(wèn)期間，很多因子都會(huì)受到影響，百度在給網(wǎng)站進(jìn)行綜合打分時(shí)會(huì)綜合計(jì)算多個(gè)因子，所以說(shuō)，即使是網(wǎng)站訪問(wèn)恢復(fù)了，但其它因子的負(fù)面影響還在，網(wǎng)站恢復(fù)起來(lái)也還是非常困難的。

　　確實(shí)也不難想想一下，訪問(wèn)壓力過(guò)大，很多人想當(dāng)然的就認(rèn)為封禁蜘蛛，不讓爬不就行了么。事實(shí)上這樣的操作并不好，其實(shí)最經(jīng)濟(jì)實(shí)惠的辦法野狼覺(jué)得是：增加服務(wù)器投入。有的網(wǎng)站可以臨時(shí)性的增加一些流量之類(lèi)的（例如做了CDN加速的網(wǎng)站），還有一些是可以升級(jí)虛擬機(jī)、VPS、獨(dú)立服務(wù)器的配置。這樣方式的投入其實(shí)并沒(méi)有多很多，但是效果卻很好。總比封禁蜘蛛這種辦法好得多。如果你封了蜘蛛，恢復(fù)需要2個(gè)月的話，這兩個(gè)月的時(shí)間應(yīng)該比增加點(diǎn)服務(wù)器投入要貴得多吧！

　　當(dāng)然，如果訪問(wèn)確實(shí)很大，可以先使用站長(zhǎng)工具的抓取壓力調(diào)整，把壓力調(diào)整到最小，之后不行再加大服務(wù)器投入。在抓取平穩(wěn)服務(wù)器有剩余資源之后，建議恢復(fù)抓取壓力默認(rèn)值，讓蜘蛛自動(dòng)判斷抓取頻度。