Transformers v5 发布:简化模型定义,支撑 AI 生态系统

2 天前·来源:Hugging Face Blog
TransformersHugging FaceAI 库模型定义开源

Hugging Face 发布了 Transformers 库的 v5 版本,这是自 2020 年 v4 以来的重大更新。该库每日安装量从 v4 的 2 万次增长到 300 万次,总安装量已超过 12 亿次。v5 专注于简化模型定义、训练、推理和生产部署,支持超过 400 种模型架构。

Transformers v5 版本已发布,这是自 2020 年 v4 版本以来的首次重大更新。该库每日通过 pip 的安装量从 v4 的 2 万次增长到 300 万次,总安装量已超过 12 亿次。生态系统从 v4 的 40 种模型架构扩展到现在的超过 400 种,社区在 Hub 上贡献了超过 75 万个与 Transformers 兼容的模型检查点,相比 v4 时的约 1000 个大幅增加。

v5 版本的工作重点包括简化性、训练、推理和生产部署。团队首先关注简化性,旨在使模型集成更清晰,以便生态系统可以依赖模型定义,并理解模型之间的差异和关键特性。Transformers 作为一个模型架构工具包,目标是包含所有最新架构,并成为模型定义的“真相来源”。在过去五年中,每周添加 1 到 3 个新模型。

过去一年中,团队大力推动模块化设计,以实现更轻松的维护、更快的集成和更好的社区协作。模块化方法显著减少了贡献和审查所需的代码行数。团队尊重“一个模型,一个文件”的理念,同时引入了一些抽象,如 AttentionInterface,以简化常见辅助工具的管理。

Transformers 与许多基于它的库和应用合作,包括 llama.cpp、MLX、onnxruntime、Jan、LMStudio、vLLM、SGLang、Unsloth、LlamaFactory、dLLM、MaxText、TensorRT 和 Argmax 等。Unsloth 的 Michael Han 表示,Transformers 是数十万个项目的支柱,用于高效微调和训练模型,如 BERT 或文本到语音模型,并在其他库尚未支持时运行快速推理。

背景阅读

Transformers 库由 Hugging Face 开发和维护,是一个开源的 Python 库,专注于自然语言处理(NLP)和计算机视觉等领域的预训练模型。它于 2018 年首次发布,迅速成为 AI 社区中最受欢迎的库之一,支持 BERT、GPT、T5 等多种模型架构。该库的核心优势在于其易于使用的 API,允许研究人员和开发者快速加载、训练和部署模型,促进了 AI 模型的民主化访问。随着 AI 技术的快速发展,Transformers 库不断更新,以适应新的模型架构和行业需求,成为 AI 生态系统中的重要基础设施。v4 版本于 2020 年发布,引入了多项改进,而 v5 版本则在此基础上进一步优化,强调简化性和模块化,以支持更广泛的社区贡献和更高效的模型管理。

评论 (0)

登录后参与评论

加载评论中...