前OpenAI政策主管成立独立AI安全审计机构

18 小时前·来源:The Decoder
AI安全独立审计OpenAI非营利机构AI治理

前OpenAI政策研究主管Miles Brundage创立了非营利机构AVERI,倡导对前沿AI模型进行独立安全审计。该机构已筹集750万美元资金,包括来自AI公司员工的捐款。Brundage认为,即使没有政府强制,企业客户和保险公司的市场压力也可能推动AI实验室接受外部监督。

前OpenAI政策研究主管Miles Brundage创立了AI验证与评估研究所(AVERI),这是一个倡导对前沿AI模型进行独立安全审计的非营利组织。Brundage于2024年10月离开OpenAI,他在该公司担任顾问,负责研究如何为通用人工智能的到来做准备。Brundage表示,他在OpenAI工作期间学到的一点是,公司正在自行制定相关规范,没有外部力量强制它们与第三方专家合作以确保安全。

AVERI目前已筹集750万美元资金,目标是筹集1300万美元以支持14名员工。资助者包括前Y Combinator总裁Geoff Ralston和AI承保公司。值得注意的是,该机构还收到了领先AI公司员工的捐款。Brundage称这些捐款者“知道内情”,并希望看到更多问责。

Brundage和30多位AI安全研究人员及治理专家发布了一份研究论文,概述了独立审计的详细框架。论文提出了“AI保障级别”,从第1级(当前状态,第三方测试有限,模型访问受限)到第4级(提供“条约级”保障,足以作为国际协议的基础)。

Brundage认为,即使没有政府强制,市场机制也可能推动AI公司接受独立审计。大型企业在关键业务流程中部署AI模型时,可能要求审计作为购买条件以防范隐藏风险。保险公司可能发挥特别重要的作用,业务连续性保险公司可能将独立评估作为为重度依赖AI的公司承保的前提条件。与OpenAI、Anthropic或Google等AI公司直接合作的保险公司也可能要求审计。

背景阅读

AI安全审计是确保人工智能系统可靠性和安全性的关键环节,随着AI技术快速发展,特别是前沿模型如GPT系列和Claude的广泛应用,独立审计需求日益凸显。传统上,AI实验室如OpenAI和Anthropic主要依赖内部测试和有限的外部红队评估,但缺乏统一标准和强制第三方验证,这引发了关于透明度、问责和潜在风险的担忧。近年来,AI安全领域兴起,包括政府监管讨论(如欧盟AI法案)和行业倡议,旨在建立更严格的评估框架。AVERI的成立反映了这一趋势,强调从行业自我评估转向独立监督,以增强公众信任和防范系统性风险。背景中,AI公司员工参与资助也暗示了行业内部对现有安全实践的不安,推动更广泛的责任机制。

评论 (0)

登录后参与评论

加载评论中...