这个概念已经存在三年了，甚至早于 ChatGPT 的发布，但其最初的应用范围有限，因为 AI 助手只能生成内容——计算机代码、文本或图像——然后需要由人类用户审查和整合。
但随着能够自主执行任务的 AI 代理的出现，黑客获得了在个人或企业计算机系统内部发动攻击的武器，这是一种终极的特洛伊木马。
这些 AI 代理集成到新一代网络浏览器中，使它们的使用者面临海量来源不确定、质量参差不齐的在线数据。
一个黑客可以将指令隐藏在网页、电子邮件、图片或文档中，尤其是通过使其对人类肉眼不可见，甚至隐藏在一个指向假网站的链接中，正如近期网络安全专家 NeuralTrust 所揭示的那样。
该代理读取这些内容，并在用户不知情的情况下执行所下达的指令。
由于 AI 代理可以广泛访问用户数据，它可以将部分数据提取给黑客，进行修改或删除，还可以随心所欲地引导网站或 AI 模型本身的运行。
"几十年来，我们首次看到了新的攻击向量，这些攻击可能来自任何地方"，在线研究新成员 Perplexity 观察到。他强调，生成式 AI 和日常语言的使用已经不再局限于"具备高超技术能力的恶意行为者"这一范围。
"精妙的平衡"
对于以色列网络安全专家 Check Point 公司的经理 Eli Smadja 来说，"请求注入是大型语言模型（LLM）面临的首要安全问题"，这些计算机程序赋予 AI 助手和代理生命。
微软集成了一款恶意指令检测器，该检测器主要通过指令所在位置进行判定。而 OpenAI 则会在 AI 代理访问敏感网站时向用户发出警报，并仅当用户实时直接监控时才允许操作继续。
其他人建议在执行重要任务前向用户请求明确验证。
“但最大的挑战是攻击在不断完善，”网络安全研究员 Johann Rehberger（化名 wunderwuzzi）指出，“有些威胁我们甚至还没有识别出来。”
Eli Smadja 警告说，将“同一个代理赋予完全控制权是一个重大错误。它可以翻查你的邮件、上网或操作你的系统。”
根据约翰·雷赫伯格的说法，还需要找到“微妙平衡”，即在安全性和易用性之间，“因为人们也希望 AI 能替他们做事，不必一直监控它”。
对于西班牙公司 NeuralTrust 的工程师马蒂·霍卡·罗卡来说，应对这些风险需要在所有层面进行考虑。
他认为：“人们必须认识到使用 AI 存在特定的安全风险”。至于企业，“它们必须建立防护措施来规范这些风险。”
这位工程师表示，这可能会延缓 AI 代理的采用，尤其是在银行等敏感行业。
根据约翰·雷赫伯格的说法，人工智能无论如何还没有足够成熟。
"我们还没有到可以让一个 AI 代理长期执行任务的程度"，他说。"它最终会偏离轨道。"
