2023年5月28日,英伟达在官网宣布将为游戏提供定制化AI模型代工服务——Avatar Cloud Engine (ACE) for Games,并在5月29日的COMPUTEX 2023专题演讲上播放了一个游戏Demo“Kairos”。
AI模型代工服务NVIDIA ACE for Games:旨在通过提供AI驱动的智能NPC,改变玩家与NPC的互动方式,从而显著提高游戏沉浸感
NVIDIA负责开发和性能技术的副总裁John Spitzer表示:“生成式人工智能有可能彻底改变玩家与游戏角色之间的互动方式,并极大地提高游戏的沉浸感。”“凭借我们在人工智能方面的专业知识以及与游戏开发商合作数十年的经验,英伟达正在率先在游戏中使用生成式人工智能。”
NVIDIA ACE for Games的AI模型:
英伟达NeMo:用于构建、定制和部署语言模型,可以使用专有数据。语言模型可以根据游戏设定和角色背景进行定制,并通过NeMo Guardrails防止不良或不安全的对话。
英伟达Riva:用于自动语音识别和文本转语音,实现实时语音对话。
英伟达Omniverse Audio2Face:可用于根据人物语音,快速生成游戏角色的丰富的面部表情动画。Audio2Face 支持 Unreal Engine 5 的 Omniverse 连接器,开发者可以直接将面部动画添加到 MetaHuman 角色上。
游戏Demo落地:“Kairos”——英伟达和合作伙伴Convai共同完成,利用了AI模型代工服务NVIDIA ACE for Games
Kairos利用了:1)NVIDIA Riva的语音到文本和文本到语音功能;2)NVIDIA NeMo为会话AI提供动力;3)Audio2Face为语音输入的AI驱动的面部动画提供动力。Convai创始人兼首席执行官Purnendu Mukherjee表示:“有了NVIDIA ACE for Games, Convai的工具可以实现所需的延迟和质量,使几乎每个开发者都能以经济高效的方式获得AI不可玩角色。”
游戏场景设定在一个赛博朋克风格的拉面店场景中,玩家仅需通过一个按钮,就可用自己的声音与拉面店店主Jin进行对话,Jin基于背景及性格设定,在自由开放的交流中为玩家交代游戏背景及下一步任务。Jin为一个NPC角色,他与玩家的对话内容完全由生成式AI根据玩家的语音输入实时生成。同时,Jin还有着逼真的面部表情和声音,与玩家的对话均与背景故事相符。
图:按住T跟Jin进行对话
图:玩家打招呼
图:Jin回答“事实上,并不好”“我在担心这附近的犯罪活动”
图:在玩家询问后,给出线索“造成混乱的可能是KUMON AOKI”,并给出“KUMON AOKI”的地址,引导玩家前往
今天,我们宣布推出Nvidia ACE Avatar云引擎,旨在为动画创作提供支持,将数字化的角色带到生活中。它具有几个特性和功能,包括语音识别、文本转语音、自然语言理解等等,基本上是一个庞大的语言模型,并结合您说话时的声音和表情来使角色的动作栩栩如生。
所有这一切完全由人工智能进行训练。我们提供了一个服务,其中包括预先训练的模型,开发者可以使用这些模型来进行修改和增强,以适应他们自己的应用程序和故事,因为每个游戏都有不同的故事。然后,您可以将其部署在云端或设备上。它有一个出色的后端,其中包括TensorRT,这是一个用于视频深度学习优化的编译器,您可以将其部署在NvidiaGPU上,也可以输出NVIDIA Mellanox Onyx和行业标准的后端,以便在任何设备上运行。它完全采用光线追踪进行渲染,因此,您将看到各种直接光照、全局光照。所以角色的渲染效果非常出色。所有这些都是在虚幻引擎5中完成的,这是我们和合作伙伴Convai共同完成的一个名为Kairos的游戏demo。
这个demo没有任何剧本,我们给这个具有人工智能的角色创造了一个背景故事,关于他的拉面店以及这个游戏的故事。您只需要走上前去与这个角色交谈即可,因为这个角色已经融入了人工智能和大型语言模型,它可以理解您的意思,并以非常合理的方式与您互动。所有面部动画完全由人工智能完成。我们已经实现了各种类型的角色生成。它们都有自己的领域知识。您可以自定义它们,因此每个人的游戏都是不同的,这就是游戏的未来。人工智能不仅将为渲染和环境合成做出贡献,还将为角色动画做出贡献。人工智能将成为游戏未来的重要组成部分。