Nvidia сообщила в блоге, что первой игрой с поддержкой нейротехнологии ACE (Avatar Cloud Engine) станет Mecha Break, релиз которой запланирован на 2025 год. С его помощью диалоги для NPC будут генерироваться с помощью небольшой языковой модели.
Технология ACE используется сразу несколько нейросетей:
-
Nemotron-4 4B Instruct — помогает анализировать действия игрока и подстраивать под них действия NP, а также отвечать геймеру;
-
Whisper — распознаёт речь;
-
Audio2Face-3D — генерирует лицевую анимацию;
-
ElevenLabs — генерирует озвучку.
Всё это будет доступно в Mecha Break. Например, пользователь сможет спрашивать советы у NPC или требовать подсказки. Общение будет доступно на естественном языке. При этом персонажи будут придерживаться своей роли и давать ответы в соответствии с ней.
Разработчикам игр доступны широкие возможности настройки персонажей. Можно выбирать характер NPC и его черты. Также из плюсов можно отметить, что Nvidia ACE работает локально на устройстве пользователя, а для обработки запросов используется видеопамять. Это гарантирует, что во время общения с NPC не будут возникать задержки.
Источник: habr.com
