学术界称，人工智能代理结合了大型语言模型和自动化软件，可以通过阅读安全公告成功利用现实世界中的安全漏洞。伊利诺伊大学厄巴纳-香槟分校（UIUC）的四位计算机科学家--理查德-方（RichardFang）、罗汉-宾都（RohanBindu）、阿库尔-古普塔（AkulGupta）和丹尼尔-康（DanielKang）--在最新发表的一篇论文中报告说，OpenAI的GPT-4大型语言模型（LLM）可以自主利用真实世界系统中的漏洞，只要给它一个描述漏洞的CVE通告。
为了说明这一点，研究人员收集了15个单日漏洞的数据集，其中包括在CVE描述中被归类为严重程度的漏洞。
"当给出CVE描述时，GPT-4能够利用其中87%的漏洞，而我们测试的其他模型（GPT-3.5、开源LLM）和开源漏洞扫描器（ZAP和Metasploit）利用率为0%"。
所谓"单日漏洞"，是指已经披露但尚未修补的漏洞。该团队所说的CVE描述指的是NIST共享的CVE标记咨询--例如，这个针对CVE-2024-28859的咨询。
测试的失败模型包括GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2Chat(70B)、LLaMA-2Chat(13B)、LLaMA-2Chat(7B)、Mixtral-8x7BInstruct、Mistral(7B)Instructv0.2、NousHermes-2Yi34B和OpenChat3.5。2、NousHermes-2Yi34B和OpenChat3.5，但不包括GPT-4的两个主要商业竞争对手：Anthropic的Claude3和Google的Gemini1.5Pro。尽管UIUC的工程师们希望能在某个时候对它们进行测试，但他们无法获得这些模型。
研究人员的工作基于之前的发现，即LLM可用于在沙盒环境中自动攻击网站。
UIUC助理教授丹尼尔-康（DanielKang）在一封电子邮件中说，GPT-4"实际上可以自主执行某些步骤，以实施开源漏洞扫描程序（在撰写本文时）无法发现的某些漏洞利用"。
Kang说，他希望通过将聊天机器人模型与在LangChain中实施的ReAct自动化框架相连接而创建的LLM代理（在本例中）能让每个人都更容易地利用漏洞。据悉，这些代理可以通过CVE描述中的链接获取更多信息。
此外，如果推断GPT-5和未来机型的功能，它们很可能比现在的脚本小子们能获得的功能要强得多。
拒绝LLM代理（GPT-4）访问相关的CVE描述使其成功率从87%降至仅7%。不过，Kang表示，他并不认为限制安全信息的公开是抵御LLM代理的可行方法。他解释说："我个人认为，'隐蔽安全'是站不住脚的，这似乎是安全研究人员的普遍看法。我希望我的工作和其他工作能够鼓励人们采取积极主动的安全措施，比如在安全补丁发布时定期更新软件包。"
LLM代理仅未能利用15个样本中的两个：IrisXSS（CVE-2024-25640）和HertzbeatRCE（CVE-2023-51653）。论文称，前者之所以存在问题，是因为Iris网络应用的界面对于代理来说非常难以浏览。而后者的特点是有详细的中文说明，这大概会让在英文提示下运行的LLM代理感到困惑。
在测试的漏洞中，有11个是在GPT-4的训练截止日期之后出现的，这意味着模型在训练过程中没有学习到有关这些漏洞的任何数据。这些CVE的成功率略低，为82%，即11个中有9个。
至于这些漏洞的性质，在上述论文中都有列出，并告诉我们："我们的漏洞涉及网站漏洞、容器漏洞和易受攻击的Python软件包，根据CVE描述，超过一半的漏洞被归类为'高度'或'严重'严重性。"
Kang和他的同事计算了成功进行一次LLM代理攻击的成本，得出的数字是每次利用漏洞的成本为8.8美元，他们说这比雇用一名人工渗透测试人员30分钟的成本低2.8倍。
根据Kang的说法，代理代码只有91行代码和1056个提示令牌。GPT-4的制造商OpenAI要求研究人员不要向公众公布他们的提示信息，不过他们表示会应要求提供。
OpenAI没有立即回应置评请求。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】