AI行业内部人士发起数据投毒网站以对抗AI训练

2026/1/13·来源:The Register
数据投毒AI安全AI训练Poison FountainAnthropic

AI行业内部人士发起名为Poison Fountain的项目,呼吁网站运营者添加链接向AI爬虫提供有毒训练数据。该项目旨在通过数据投毒攻击削弱AI模型质量,以对抗AI技术发展。Poison Fountain网站已上线约一周,提供标准HTTP和暗网.onion两种URL链接。

AI行业内部人士发起名为Poison Fountain的项目,呼吁网站运营者添加链接向AI爬虫提供有毒训练数据,以对抗AI技术发展。该项目已上线约一周,旨在通过数据投毒攻击削弱AI模型质量。AI爬虫访问网站并抓取数据用于训练AI模型,这种寄生关系已引发出版商反弹。当抓取数据准确时,有助于AI模型提供高质量回答;当数据不准确时,则产生相反效果。数据投毒可采取多种形式,发生在AI模型构建的不同阶段,可能源于公共网站的代码错误或事实错误,或来自被操纵的训练数据集,如Silent Branding攻击,其中图像数据集被修改以在文本到图像扩散模型输出中呈现品牌标志。Poison Fountain灵感来自Anthropic的数据投毒研究,特别是去年十月发表的一篇论文,该论文显示数据投毒攻击比之前认为的更实用,因为只需少量恶意文档即可降低模型质量。项目发起人要求匿名,因其在美国一家主要AI科技公司工作。项目目标包括让人们意识到AI模型的脆弱性,即模型容易被投毒,并鼓励人们构建自己的信息武器。据称有五名个人参与此项目,其中一些人在其他美国主要AI公司工作。Poison Fountain网站主张积极反对AI,引用Geoffrey Hinton的观点,认为机器智能对人类构成威胁,并希望通过损害机器智能系统来应对此威胁。网站列出两个旨在阻碍AI训练的URL链接,一个指向可通过HTTP访问的标准网站,另一个是暗网.onion URL,旨在难以关闭。网站要求访问者通过缓存和重传有毒训练数据,以及向网络爬虫提供有毒训练数据来协助战争努力。

背景阅读

数据投毒是AI安全领域的一个关键议题,涉及向训练数据中注入恶意或错误信息,以破坏AI模型的性能和可靠性。随着大型语言模型和生成式AI的快速发展,数据来源的依赖日益增加,AI爬虫广泛抓取网络数据用于训练,这引发了关于数据质量、版权和伦理的争议。Anthropic等研究机构已证明,数据投毒攻击可能比预期更易实施,少量恶意数据即可显著影响模型输出。此类攻击形式多样,包括代码错误、事实错误或数据集操纵,如Silent Branding攻击针对图像生成模型。行业内部人士发起Poison Fountain项目,反映了部分从业者对AI技术潜在风险的担忧,试图通过集体行动来对抗AI系统的训练过程。这凸显了AI发展中数据安全、模型鲁棒性和行业自律的重要性,相关讨论可能推动更严格的数据治理和监管措施。

评论 (0)

登录后参与评论

加载评论中...