Transformers v5 版本已发布,这是自 2020 年 v4 版本以来的首次重大更新。该库每日通过 pip 的安装量从 v4 的 2 万次增长到 300 万次,总安装量已超过 12 亿次。生态系统从 v4 的 40 种模型架构扩展到现在的超过 400 种,社区在 Hub 上贡献了超过 75 万个与 Transformers 兼容的模型检查点,相比 v4 时的约 1000 个大幅增加。
v5 版本的工作重点包括简化性、训练、推理和生产部署。团队首先关注简化性,旨在使模型集成更清晰,以便生态系统可以依赖模型定义,并理解模型之间的差异和关键特性。Transformers 作为一个模型架构工具包,目标是包含所有最新架构,并成为模型定义的“真相来源”。在过去五年中,每周添加 1 到 3 个新模型。
过去一年中,团队大力推动模块化设计,以实现更轻松的维护、更快的集成和更好的社区协作。模块化方法显著减少了贡献和审查所需的代码行数。团队尊重“一个模型,一个文件”的理念,同时引入了一些抽象,如 AttentionInterface,以简化常见辅助工具的管理。
Transformers 与许多基于它的库和应用合作,包括 llama.cpp、MLX、onnxruntime、Jan、LMStudio、vLLM、SGLang、Unsloth、LlamaFactory、dLLM、MaxText、TensorRT 和 Argmax 等。Unsloth 的 Michael Han 表示,Transformers 是数十万个项目的支柱,用于高效微调和训练模型,如 BERT 或文本到语音模型,并在其他库尚未支持时运行快速推理。