Arm公司发布了Neural Super Sampling下一代AI超采样解决方案,供图形和游戏开发者开始实验。NSS专为未来移动设备的实时性能设计,基于Arm Neural Technology。在演示中,NSS将GPU工作负载减少了50%,模型以540p渲染并在4毫秒内超采样至1080p。
Neural Super Sampling是Arm开发的实时时间超采样参数预测模型,针对移动GPU中的神经加速器优化执行。它通过从低分辨率时间输入重建高质量输出帧,以较低计算成本实现高分辨率渲染。NSS特别适用于移动游戏、XR和其他功耗受限的图形应用场景。
NSS已通过两个插件集成到虚幻引擎中:NSS Plugin for Unreal Engine和Unreal NNE Plugin for ML extensions for Vulkan。Arm提供了快速入门指南,包括ML extensions for Vulkan Quickstart Guide和Neural Super Sampling Quickstart Guide。
Arm发布了Neural Graphics Dataset,包含参考图像和图像序列以及训练、验证和测试神经超采样算法所需的运动、深度等数据。当前版本数据集包含有限数据用于演示NSS模型开发流程。Arm未来将发布Neural Graphics Model Gym,提供工具捕获和转换内容用于模型训练和再训练。