AhrefsBot是什么？

AhrefsBot是一個國外的搜索引擎蜘蛛。不過對你的網(wǎng)站來說除了浪費資源外，沒有任何好處。簡單說，AhrefsBot是一個營銷網(wǎng)站的爬取蜘蛛，負責(zé)分析你網(wǎng)站的鏈接信息，這個工具對于國內(nèi)用戶來說，沒有用。

所以，可以禁止AhrefsBot對你網(wǎng)站，甚至是整個服務(wù)器的訪問

詳細的介紹你可以查看他們官網(wǎng)的英文解釋。https://ahrefs.com/robot  該網(wǎng)站是一個國外的但是有中文版，打開中文版顯示如上圖。其介紹為“增加您的搜索流量的工具，研究您的競爭對手并監(jiān)控您的利基市場。Ahrefs會幫助你去研究為什么你的競爭對手排名這么高，以及你需要采取什么行動來超越他們。”所以應(yīng)該明白他是做什么的了吧。

怎么封禁AhrefsBot？

如果不需要我們可以屏蔽。他的ip地址還是很多的所以建議用robots.txt屏蔽。屏蔽代碼為：

User-agent: AhrefsBot

Disallow: /

官方公布的AhrefsBot爬蟲IP段如下： 

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

方法一：阿里云安全組策略直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服務(wù)器用的阿里云，阿里云后臺有安全組可以使用，所以直接屏蔽AhrefsBot的IP段，是最簡單粗暴，效果立竿見影的方法。按照上圖的方法配置，把下面這些ip段全部添加進去就行了。

方法二：服務(wù)器安全狗等在服務(wù)器上進行封禁

在安全狗上找“網(wǎng)絡(luò)防火墻>超級黑名單”，添加IP組進去，保存即可。如下圖所示：

方法二：使用robots.txt封禁

通常來說，只要是遵循robots規(guī)則的蜘蛛或者爬蟲，都可以使用robots.txt來禁止它爬取。AhrefsBot官方也說遵守這個規(guī)則，不過實際上是如果你不是一開始就添加了這個規(guī)則，你都不知道它蜘蛛什么時候才會重新爬取你的robots.txt文件來修改抓取規(guī)則。

對于單個網(wǎng)站來講，直接封IP比較快。如果要添加，規(guī)則如下：

User-agent: AhrefsBot

Disallow: /