Project Mellon：基于语音AI交互的AR/VR体验

在日前举行的GTC 2023大会中，英伟达发布了可以通过语音控制XR体验的Project Mellon。这是一个轻量级Python包，能够利用语音AI（NVIDIA Riva）和大型语言模型（NVIDIA-NeMo服务）的强大功能来简化沉浸式环境中的用户交互。开发者可以点击这个页面申请测试资格，探索创建由自然语音命令控制的XR体验。

Project Mellon背后的基本理念是，以一种实用的方式来利用语音人工智能和大型语言模型的力量，从而进一步赋能虚拟世界。

英伟达指出，XR中的用户界面可能复杂且难以使用，减损了自然沉浸感。Project Mellon允许几乎任何开发人员轻松地将自然语言理解添加到自己的应用程序中，并将其作为一种新型的以人为中心的免手操作用户界面。

Project Mellon平台由以下要素组成：

• Project Mellon SDK
• NVIDIA Riva (ASR, TTS, NMT)
• NeMo service （支持其他LLM大型语言模型 ）

Project Mellon 1.0中的主要功能包括：

• 轻量级、易于集成的Python库
• LLM支持自然语言理解的准确性
• 无需特定命令训练的零样本语言模型
• 具有对话和视觉情景的自然语言命令支持
• 支持询问有关命令和场景的问题，并提供自然语言回答
• 用于理解和执行命令的简单Python API
• 基于Web的测试应用程序
• ASR、TTS、LLM和NMT可以在本地或远程托管，具有较低的延迟响应时间

已经体验过Project Mellon的ESI Group评价道：“我们发现，将对话式人工智能与Project Mellon集成，可以降低协作XR技术的入门门槛。通过使用自然语音作为输入，我们的虚拟人工智能助手可以帮助团队完成复习任务、查询可用情况或发现问题。所有这一切都只需用自然语言提问，无需记住特定命令。”

英伟达则表示：“人工智能正在改变我们与工作和工具互动的方式。通过语音人工智能和Project Mellon，开发人员可以简化用户交互体验。不再需要培训用户如何操作虚拟现实中的每一项功能。你可以跳到虚拟现实应用程序中，并用自己的言语来控制体验。”

Project Mellon 1.0已经正式发布，开发者可以点击这个页面申请测试资格，探索创建由自然语音命令控制的XR体验。