前OpenAI政策研究主管Miles Brundage创立了AI验证与评估研究所(AVERI),这是一个倡导对前沿AI模型进行独立安全审计的非营利组织。Brundage于2024年10月离开OpenAI,他在该公司担任顾问,负责研究如何为通用人工智能的到来做准备。Brundage表示,他在OpenAI工作期间学到的一点是,公司正在自行制定相关规范,没有外部力量强制它们与第三方专家合作以确保安全。
AVERI目前已筹集750万美元资金,目标是筹集1300万美元以支持14名员工。资助者包括前Y Combinator总裁Geoff Ralston和AI承保公司。值得注意的是,该机构还收到了领先AI公司员工的捐款。Brundage称这些捐款者“知道内情”,并希望看到更多问责。
Brundage和30多位AI安全研究人员及治理专家发布了一份研究论文,概述了独立审计的详细框架。论文提出了“AI保障级别”,从第1级(当前状态,第三方测试有限,模型访问受限)到第4级(提供“条约级”保障,足以作为国际协议的基础)。
Brundage认为,即使没有政府强制,市场机制也可能推动AI公司接受独立审计。大型企业在关键业务流程中部署AI模型时,可能要求审计作为购买条件以防范隐藏风险。保险公司可能发挥特别重要的作用,业务连续性保险公司可能将独立评估作为为重度依赖AI的公司承保的前提条件。与OpenAI、Anthropic或Google等AI公司直接合作的保险公司也可能要求审计。