Block首席信息安全官James Nettesheim在接受采访时表示，公司对其开源AI代理Goose进行了红队测试，成功利用提示注入攻击在员工笔记本电脑上运行了信息窃取恶意软件。
Nettesheim表示，在安全方面，AI代理就像自动驾驶汽车，它们必须比人类更安全。作为Square、Cash App和Afterpay的母公司，Block正努力将自己定位为AI领导者，与Anthropic共同设计了模型上下文协议，并使用该协议构建了Goose。该开源AI代理已被Block近12,000名员工使用，并连接了公司所有系统，包括Google账户和Square支付。
Nettesheim指出，人类和机器都可能给企业环境带来安全风险。他解释说，Block员工应仅访问其工作所需的数据，公司的AI代理也应遵循相同的最小权限访问原则。客户数据应仅在特定目的需要时保留，这一规则同样适用于AI代理。
为此，Block使用渗透测试和其他攻击性安全措施来识别攻击者如何滥用其AI代理，并找到修复问题的方法。在一篇博客中，Block描述了如何对Goose进行红队测试，并成功利用提示注入攻击在员工笔记本电脑上感染了信息窃取恶意软件。提示注入攻击是指通过操纵提示包含恶意指令，使AI执行这些指令，这些指令可能通过直接文本输入或隐藏在用户不可见内容中的间接命令实现。
Nettesheim表示，目前还没有人解决这一安全漏洞。