在X/Twitter上，如果网站已经按照开发者规范要求在网页源代码里添加了标头等数据，则这个网站的任何地址发布到X上时，都会额外显示网站域名以及图片等数据。要实现此功能X的爬虫需要在用户发布内容时第一时间对目标链接进行抓取，如果抓取无法那就可以显示完整信息，并且后续变更后已经被抓取的数据也不会变更。
于是这就产生了一个安全问题：有诈骗者在X上冒充知名新闻网站福布斯发布加密货币相关的内容，吸引币圈用户加入他们的社群，然后操作一些垃圾币来收割。
从下图中我们可以看到这种恶意利用的流程：
诈骗者在服务器上进行了HTTP302临时重定向，当检测到不同的UserAgent时，可以返回不同的临时重定向地址。
其中第一个测试截图是不使用任何浏览器UA的情况下，模拟X爬虫系统进行抓取(实际上X有爬虫，叫做TwitterBot，但没有其他UA信息，见结尾附注1)，此时诈骗网站没有检测到有效的浏览器UA，于是返回了福布斯网站的一个链接。
于是X会在推文发布后将其标注为来自福布斯网站。
第二个测试截图在附带浏览器UA的情况下，可以看到这个诈骗网站返回了他们的目标地址，那就是那个社群。
而用户正常点击链接那肯定是附带浏览器UA信息的，所以实际上点击都是返回社群地址，第一种情况仅仅只是用来迷惑X的爬虫。
值得注意的是，这种情况并不是现在才发生的，至少从去年8月开始已经有诈骗者使用这种方法进行钓鱼，不过至今X也没有解决这类问题。
附注1：
X/Twitter爬虫的完整信息：TwitterBot/1.0
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】