Palmyra-mini 系列模型发布:轻量高效,专为推理设计

1 天前·来源:Hugging Face Blog
WRITERPalmyra-mini开源模型推理优化轻量级AI

WRITER 团队发布了 Palmyra-mini 系列的三款开源模型,参数量在 1.5B 到 1.7B 之间。这些模型包括基础版和两个专为复杂逻辑与数学推理优化的变体,采用了思维链训练方法。模型已在 Hugging Face 上提供,并支持 GGUF 和 MLX 量化格式。

WRITER 团队于 2025 年 9 月 11 日发布了 Palmyra-mini 系列的三款开源模型。这些模型参数量在 1.5B 到 1.7B 之间,设计为轻量高效,适用于多种应用场景。系列包括基础模型 palmyra-mini,以及两个专为推理优化的变体 palmyra-mini-thinking-a 和 palmyra-mini-thinking-b。

推理模型采用了思维链训练方法,以提升逻辑和数学推理能力。palmyra-mini-thinking-a 在 GSM8K 基准测试中达到 82.87% 的准确率,而 palmyra-mini-thinking-b 在 AMC23 上获得 92.5% 的分数。基础模型 palmyra-mini 在 Big Bench Hard 上得分为 52.6%。

模型已在 Hugging Face 上提供下载,并支持 GGUF 和 MLX 量化格式,便于部署。所有模型基于 Qwen 架构,可在 vLLM、SGLang 等流行推理框架上运行。palmyra-thinking-b 的基础模型为 NVIDIA 的 OpenReasoning-Nemotron-1.5B,经过强化学习微调,但可能影响采样多样性。

背景阅读

Palmyra-mini 系列是 WRITER 公司推出的轻量级 AI 模型家族,专注于在较小参数量下实现高效推理性能。该系列基于 Qwen 架构,这是一种开源的大语言模型架构,常用于构建可扩展的 AI 系统。思维链训练方法是一种提升模型推理能力的技术,通过引导模型逐步思考来改善复杂任务的表现。近年来,随着 AI 模型规模不断增大,轻量级模型因其部署成本低、推理速度快而受到关注,特别是在边缘计算和资源受限环境中。WRITER 作为一家 AI 公司,此前可能专注于自然语言处理或生成式 AI 工具,此次发布旨在推动小模型在推理任务上的边界。行业趋势显示,开源模型社区正积极开发高效模型,以平衡性能与资源消耗,Palmyra-mini 系列正是这一方向的尝试。

评论 (0)

登录后参与评论

加载评论中...