普林斯顿大学发布HELMET：全面评估长上下文语言模型

普林斯顿大学研究人员发布了HELMET基准，旨在全面评估长上下文语言模型。该基准改进了现有评估方法的多样性、可控性和可靠性。研究团队评估了59个最新长上下文语言模型，发现前沿模型在复杂任务上仍有局限。HELMET已被社区采用，例如微软的Phi-4和AI21的Jamba 1.6模型。研究结果将在ICLR 2025会议上展示。HELMET的代码和数据已在GitHub上开源，并提供了与HuggingFace的快速入门指南。