互联网长期以来一直使用基于 robots.txt的荣誉系统方式来控制抓取，这是一个文本文件，用于授予或拒绝爬虫程序的权限，但人工智能公司（甚至是Anthropic和PerplexityAI等知名公司）被指责忽视了它。Cloudflare写道，它每天会收到超过500亿个网络爬虫请求，尽管它有工具来发现和阻止恶意请求，但这往往会促使攻击者在“永无止境的军备竞赛”中改变策略。
Cloudflare表示，AILabyrinth不会拦截机器人，而是通过让它们处理与特定网站的实际数据无关的数据来进行反击。该公司表示，它还可以充当“下一代蜜罐”，吸引人工智能爬虫不断跟踪虚假页面的链接，而普通人则不会这样做。它表示，这使得Cloudflare的恶意行为者列表中更容易识别恶意机器人，以及识别它原本无法检测到的“新机器人模式和签名”。根据该帖子，这些链接不对人类访问者可见。
您可以在Cloudflare的博客上阅读有关AILabyrinth如何工作的更多信息：
https://blog.cloudflare.com/ai-labyrinth/
这里有来自该帖子的更多详细信息：
我们发现，先生成一组多样化的主题，然后为每个主题创建内容，可以产生更加多样化和令人信服的结果。对我们来说，重要的是不要生成不准确的内容，以免助长互联网上错误信息的传播，因此我们生成的内容是真实的并且与科学事实相关，只是与被抓取的网站不相关或不是专有的。
网站管理员可以选择使用AILabyrinth，方法是导航到其站点Cloudflare仪表板设置的“机器人管理”部分并启用它。该公司表示，这“只是使用生成式AI阻止机器人的第一次迭代”。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】