这些爬虫通常不会遵守robots.txt协议，并且人工智能公司的爬虫拥有大量IP地址，这些公司通过这些IP地址并发向开源项目网站发出请求赚取网站或项目数据。
为了应对这些爬虫消耗服务器硬件资源和网络带宽，GNOME不得不使用名为Anubi的工作流证明系统用来拦截AI爬虫程序，有时候这可能还会误伤真实访问的用户。
GNOME并不是唯一遭受AI爬虫类似DDoS攻击般疯狂抓取的项目，KDE、Fedora、LWN、FrameSoftware等也都在面临同样的问题：其网站和基础设施绝大部分流量都来自AI爬虫。
应对这种攻击并没有太好的办法，管理员正在浪费大量时间、金钱和资源来抵御这些饥饿的AI大军—人工智能公司都在疯狂抓取数据用来训练模型。
此前包括OpenAIChatGPT和字节跳动的Bytespider都被发现高频抓取网站导致网站近乎瘫痪，这些爬虫有时候不遵守robots.txt协议，有时候则是并发海量请求导致服务器瘫痪。
对这些AI公司来说这不会有任何损失，但被高频抓取的网站就遭殃了，浪费服务器资源的同时还必须想法设法识别和拦截这些爬虫，最后只有网站损失惨重。
另外大多数已知的爬虫例如GPTBot还比较容易通过UA进行拦截，还有大量的爬虫不会公布自己的名称，而是模拟智能手机用户进行访问，这种情况下靠UA识别和拦截非常麻烦。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】