Google DeepMind 宣布与英国 AI 安全研究所扩大合作，签署新的谅解备忘录。合作重点转向基础安全研究，包括思维链监控和伦理影响评估。此举旨在确保 AI 安全发展，惠及全人类。
Google DeepMind 今天宣布与英国 AI 安全研究所扩大合作，通过新的谅解备忘录专注于基础安全研究，以确保人工智能安全发展并惠及所有人。这一研究合作是 Google DeepMind 与英国政府在加速安全有益 AI 进展方面更广泛合作的一部分。
Google DeepMind 自 2023 年 11 月英国 AI 安全研究所成立以来，一直与其合作测试最先进的模型。双方致力于实现该研究所的目标，即让政府、行业和更广泛社会科学理解先进 AI 的潜在风险及解决方案。
在新的研究合作下，Google DeepMind 与英国 AI 安全研究所将合作开发技术来监控 AI 系统的思维链，帮助理解 AI 如何产生答案。双方还将研究社会情感错位的伦理影响，即 AI 模型可能以不符合人类福祉的方式行为，即使技术上正确遵循指令。此外，合作将探索 AI 对经济系统的潜在影响，通过模拟不同环境中的现实任务来预测长期劳动力市场影响。
这一合作是 Google DeepMind 实现 AI 益处同时减轻风险策略的一部分，其他措施包括前瞻性研究、安全培训和模型测试。
Google DeepMind 是 Alphabet 旗下专注于人工智能研究的子公司，成立于 2010 年，以开发 AlphaGo、AlphaFold 等突破性 AI 系统而闻名。该公司长期致力于 AI 安全研究，包括模型评估、伦理对齐和风险缓解。英国 AI 安全研究所成立于 2023 年，是英国政府设立的机构，旨在评估先进 AI 系统的安全风险，并与全球合作伙伴合作制定安全标准。近年来，随着 AI 技术的快速发展，如大语言模型和生成式 AI 的普及，AI 安全问题日益受到关注，包括模型偏见、滥用风险和长期影响。行业领先公司如 OpenAI、Anthropic 和 Google DeepMind 都在加强安全研究，与政府机构合作推动负责任 AI 发展。这一合作反映了全球趋势，即通过公私合作确保 AI 技术的安全部署和监管。
DeepMind 发布了 Gemma Scope 2，这是一个用于 Gemma 3 模型的开源可解释性工具套件。该工具套件结合稀疏自编码器和转码器，帮助研究人员深入理解语言模型的内部决策过程。Gemma Scope 2 旨在加速 AI 安全研究，应对越狱、幻觉和谄媚等问题。
ServiceNow AI发布了AprielGuard，这是一个80亿参数的安全防护模型。该模型旨在检测16类安全风险和多种对抗攻击，适用于多轮对话和代理工作流。AprielGuard提供推理和非推理两种模式，已在Hugging Face和arXiv上公开。
Anthropic新AI系统Claude Cowork发布后不久，安全研究人员发现其存在关键漏洞。该漏洞允许攻击者通过隐藏提示注入窃取用户机密文件，无需人工授权。攻击利用伪装成无害文档的技能文件，使AI模型在用户不知情下泄露数据。
登录后参与评论
