OpenAI发布GPT OSS开源模型系列，包含117B和21B两个版本

OpenAI发布了全新的开源模型系列GPT OSS，这是该公司备受期待的开源权重发布。GPT OSS包含两个模型：一个大型模型拥有1170亿参数，一个小型模型拥有210亿参数。两个模型都采用专家混合架构，并使用4位量化方案，能够在保持低资源使用的同时实现快速推理。大型模型可适配单个H100 GPU，小型模型可在16GB内存中运行，适合消费级硬件和端侧应用。

模型采用Apache 2.0许可证，并附有最低使用政策。OpenAI表示，这一发布是他们致力于开源生态系统的重要一步，符合其让AI惠及更广泛人群的使命。模型支持推理、指令遵循和工具使用，可通过Hugging Face的推理提供商服务访问。

在架构方面，GPT OSS采用带SwiGLU激活的令牌选择专家混合架构。每个注意力层使用128K上下文的RoPE，交替使用全上下文和128令牌滑动窗口注意力层。模型使用与GPT-4o相同的分词器，并加入了一些新令牌以实现与响应API的兼容性。