腾讯近日升级了其AI训练框架AngelSlim，推出了首个集成了大型语言模型（LLM）、视觉语言模型（VLM）和语音多模态功能的投机采样训练框架。该框架通过投机采样技术优化推理过程，实现了推理速度的显著提升，据称速度飙升了1.8倍。AngelSlim的升级旨在提高多模态AI模型的训练效率和性能，支持更复杂的AI应用场景。
腾讯AngelSlim升级，推出首个多模态投机采样训练框架
4 天前·来源：机器之心
腾讯AngelSlim多模态AI投机采样AI训练框架
腾讯升级了AngelSlim框架，集成了LLM、VLM和语音多模态功能。该框架采用投机采样技术，推理速度提升1.8倍。这是首个支持多模态的投机采样训练框架。
背景阅读
投机采样是一种用于加速AI模型推理的技术，通过预测和验证候选输出来减少计算延迟，常用于大型语言模型。多模态AI结合了文本、图像、语音等多种数据类型，以提升模型的感知和理解能力，如GPT-4V和Claude 3等模型已支持多模态功能。腾讯作为中国科技巨头，在AI领域持续投入，AngelSlim是其开源AI框架的一部分，用于优化深度学习训练和推理。近年来，多模态AI技术快速发展，成为行业热点，旨在实现更自然的人机交互和智能应用。
相关阅读
超半数AI项目因基础设施复杂而搁浅
DDN联合谷歌云和Cognizant的研究报告显示，过去两年超半数AI项目因基础设施复杂被延迟或取消。约三分之二的美国企业决策者认为AI环境过于复杂难以管理。DDN CEO指出基础设施、电力和运营基础不足是主要挑战，导致项目延迟和GPU利用率低。
不同AI模型在编码现实时呈现趋同现象
研究发现不同AI模型可能发展出相似的内部表示，即使它们使用不同数据集或数据类型训练。MIT研究人员提出柏拉图表示假说，认为模型正趋同于共享的世界表示。这一假说引发学界讨论，但关于如何比较表示仍存在争议。
英伟达开源KVzap：一种近乎无损的KV缓存剪枝方法
英伟达开源了KVzap，这是一种先进的KV缓存剪枝方法，能实现2到4倍的压缩。KVzap使用小型代理模型替代昂贵的评分机制，直接基于隐藏状态预测重要性分数。该方法在保持模型准确性的同时，显著减少了内存占用，适用于长上下文部署。
评论 (0)
登录后参与评论
加载评论中...