中小网站建议屏蔽DataForSeoBot爬虫

近期站长帮通过日志分析发现DataForSeoBot爬虫最近大量抓取本站页面数据,且频次非常高,极大消耗服务器资源。它究竟是个什么来头?通过爬虫附带的URL链接,找到其官网,发现对本站无任何价值所以果断屏蔽。

DataForSeoBot爬虫是什么

许多人会将 DataForSEO Link Bot 视作另一个搜索引擎的网络爬虫。其实不然。

DataForSEO 是通过向世界各地的 SEO 爱好者和专业人士提供高质量的数据来创造公平的竞争环境。

换句话说,就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的,这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说,对于被抓取的网站本身来说,无任何价值,甚至有数据被采集的负面影响。

如何禁止DataForSeoBot爬虫?

官网宣称DataForSeoBot爬虫支持robots.txt协议,但在百度搜索中发现,有站长吐槽它不太守规矩。所以建议通过同时使用以下两种方式来禁止它。

1、robots.txt方法

User-agent: DataForSeoBot
Disallow: /

2、通过修改Nginx或其它WEB服务器规则禁止抓取

Nginx禁止DataForSeoBot爬虫规则如下:

if ($http_user_agent ~ "DataForSeoBot/1.0" )
{
      return 403;
}

另外还可以通过禁止IP访问权限的方式,但IP地址可能会变更,所以不推荐封禁IP。

站长帮社区

建站技术交流社区,欢迎提问与交流,还有大量WordPress主题与插件。

《中小网站建议屏蔽DataForSeoBot爬虫》有 1 条评论

发表评论