NVIDIA 디지털 휴먼 기술로 AI 게임 캐릭터에 생명을 불어넣다

GDC 2024와 GTC 2024에서 NVIDIA는 다양한 업계의 선도적인 AI 개발자들이 NVIDIA 디지털 휴먼 기술을 사용하여 상용 애플리케이션과 역동적인 게임 캐릭터를 위한 실물과 같은 아바타를 만들고 있다고 발표했습니다.

NVIDIA의 디지털 휴먼 기술 제품군에는 음성 및 애니메이션을 위한 NVIDIA Avatar Cloud Engine(ACE), 언어를 위한 NVIDIA NeMo, 광선 추적 렌더링을 위한 NVIDIA RTX가 포함되어 있어 개발자는 AI 기반 자연어 상호 작용이 가능한 디지털 휴먼을 구축하고 대화할 수 있습니다. 더욱 현실적이고 다이내믹해졌습니다.

사용자는 디지털 휴먼 플랫폼 파트너가 제공하는 개발자 창작물을 통해 NVIDIA ACE 기술을 경험할 수 있습니다. 이번 쇼에서 개발자와 플랫폼 파트너는 여러 NVIDIA AI 기술과 NVIDIA ACE 마이크로서비스를 활용하는 새로운 디지털 휴먼 기술 데모를 공개했습니다. Hippocratic AI, Inworld AI, Perfect World Games, RealityArts Studio 그리고 UneeQ가 게임, 플랫폼 및 애플리케이션에서 NVIDIA ACE, NVIDIA NeMo 및 NVIDIA RTX 기술을 어떻게 활용하고 있는지 알아보려면 계속해서 읽어보세요.

Inworld AI와 NVIDIA, 새로운 비밀 프로토콜 기술 데모를 위해 협력

GDC 2024에서 Inworld와 NVIDIA는 NVIDIA ACE 기술과 Inworld 엔진을 선보이기 위해 Covert Protocol이라는 새로운 기술 데모를 위해 협력했습니다. Covert Protocol 기술 데모에서는 장면 속 캐릭터와의 대화 결과에 따라 목표를 완료하는 사립 탐정 역할을 합니다. Covert Protocol은 AI 디지털 휴먼이 중요한 정보의 관리인 역할을 하고, 과제를 제시하고, 핵심 내러티브 개발을 촉진함으로써 소셜 시뮬레이션 게임 메커니즘을 잠금 해제합니다. 디지털 휴먼은 경험에서 중요한 역할을 합니다.

Inworld 엔진으로 구동되고 NVIDIA ACE를 활용하는 Covert Protocol을 통한 각 플레이어의 여정은 독특합니다. 플레이어의 실시간 결정과 전략 계획은 서로 다른 게임 결과로 이어지므로 두 플레이 과정이 동일하지 않습니다. 이러한 수준의 AI 기반 상호 작용 및 플레이어 대행사는 플레이어가 스스로 생각하고 실시간으로 전략을 조정하여 복잡한 게임 세계를 탐색해야 하는 새로운 게임 플레이의 새로운 가능성을 열어줍니다.

Unreal Engine 5를 기반으로 구축된 Covert Protocol은 Inworld의 SDK를 활용하여 MetaHuman과의 통합을 빠르고 간단하게 만들고 NVIDIA Riva 자동 음성 인식(ASR) 및 NVIDIA Audio2Face(A2F)를 포함한 NVIDIA ACE 기술을 통합하여 Inworld의 음성 및 애니메이션 파이프라인을 강화합니다.

“NVIDIA ACE 마이크로서비스와 Inworld 엔진의 결합을 통해 개발자는 역동적인 내러티브를 주도할 수 있는 디지털 캐릭터를 만들 수 있으며 게이머가 해독하고 추론하고 플레이할 수 있는 새로운 가능성을 열 수 있습니다.” Inworld AI의 CEO인 Kylan Gibbs는 말했습니다.

개발자 채택을 가속화하기 위해 Inworld는 가까운 시일 내에 Covert Protocol의 소스 코드를 공개하여 개발자가 기술 데모를 통해 배우고 이를 사용하여 자신만의 혁신을 만들 수 있도록 할 예정입니다.

Ubisoft의 NEO NPC는 Inworld AI 및 NVIDIA ACE 기술을 통해 게임에서 디지털 휴먼의 가능성을 탐구합니다 

Ubisoft는 생성 AI 기술의 출현으로 혁신을 이루고 있는 분야인 NPC(Non Player Character)를 통해 새로운 유형의 대화형 게임플레이를 탐구하고 있습니다. Ubisoft의 최신 연구 개발 프로젝트의 제품인 "NEO NPC"는 상호 작용하도록 설계된 최첨단 NPC입니다. 플레이어, 주변 환경 및 기타 캐릭터와 실시간으로 소통하여 역동적이고 창발적인 스토리텔링의 새로운 가능성을 열어줍니다.

Ubisoft는 세 가지 별도의 데모 시나리오를 통해 이러한 NEO NPC의 기능을 선보였습니다. 각 시나리오는 NPC 행동, 환경 및 상황 인식의 다양한 측면에 중점을 둡니다. 다양한 실시간 반응 및 애니메이션; 대화 기억, 협업 및 전략적 의사 결정도 가능합니다. 실험을 통한 이러한 발견은 결합되어 게임 디자인과 몰입의 경계를 확장합니다.

NEO NPC를 통해 Ubisoft의 내러티브 및 애니메이션 디자이너는 스크립트된 게임 요소의 신뢰성과 자발적인 플레이어 상호 작용의 역동성을 혼합하여 게임 개발의 미래를 새로운 지평으로 이끌었습니다.

Ubisoft의 내러티브 팀은 Inworld AI 기술을 활용하여 데모 세계에서 이러한 독특한 캐릭터를 확립하기 위해 자신만의 배경 스토리, 지식 기반 및 다양한 대화 스타일을 가진 두 명의 NEO NPC Bloom과 Iron을 만들었습니다.

Inworld 기술은 또한 NEO NPC에게 주변 환경에 대한 본질적인 지식과 Inworld의 LLM이 제공하는 대화형 응답을 제공합니다. NVIDIA Audio2Face는 두 NPC의 얼굴에 실시간으로 얼굴 애니메이션과 립싱크를 제공합니다.

World of Jade Dynamise & Unawake도 Audio2Face를 개발 파이프라인에 통합

Perfect World Games의 World of Jade Dynamise는 곧 출시될 Unreal Engine 5 대규모 멀티플레이어 온라인 롤플레잉 게임이자 이 회사의 믿을 수 없을 만큼 인기 있는 Jade Dynamise의 속편입니다.

게임 내에서 캡처된 새로운 비디오는 중국어와 영어 모두에서 정확한 립싱크를 생성하는 오프라인 렌더링 NVIDIA Audio2Face 기술을 보여줍니다. 이를 통해 스크립트 작성자는 World of Jade Dynamise에 새로운 음성 콘텐츠를 쉽게 추가할 수 있습니다. Audio2Face를 사용하면 게임의 다국어 버전을 쉽게 지원할 수 있습니다.

RealityArts Studio와 Toplitz Productions의 Unreal Engine 5 기반 Unawake에서 플레이어는 천국과 지옥의 악몽 같은 생물들 사이의 무자비한 전쟁의 혼란 속에서 인류의 운명을 결정하게 됩니다. 이 액션 어드벤처에서 강렬한 1인칭 근접 전투를 벌이면서 상대방에게 처벌이나 면죄부를 전달하세요. 당신은 최후의 보루입니다.

Unawake는 Audio2Face를 활용하여 게임 플레이 중 및 고화질 영화에서 캐릭터의 얼굴 애니메이션을 만들었습니다. 아래의 새로운 Unawake 비디오를 시청하여 Audio2Face가 실제로 작동하는 모습을 확인하고, 프레임 생성 기능이 포함된 DLSS 3를 특징으로 하는 게임 출시를 올해 말에 계속 지켜봐 주시기 바랍니다.

NVIDIA ACE 기술: Hippocratic AI 및 UneeQ를 통해 디지털 휴먼 및 가상 비서를 위한 빌딩 블록

NVIDIA 디지털 휴먼 기술의 새로운 기능을 선보이기 위해 우리는 Hippocratic AI, UneeQ 등 선도 기업과 협력하여 일련의 신기술 시연을 진행했습니다.

HippocraticAI는 안전에 초점을 맞춘 LLM 기반 작업별 의료 에이전트를 만들었습니다. 상담원은 환자에게 전화를 걸어 치료 조정 업무에 대한 후속 조치를 취하고 수술 전 지침을 전달하며 퇴원 후 관리 등을 수행합니다. GTC의 경우 NVIDIA는 HippocraticAI와 협력하여 NVIDIA ACE 마이크로서비스, NVIDIA Audio2Face, NVIDIA 애니메이션 그래프 및 NVIDIA Omniverse Streamer 클라이언트를 사용하여 생성형 AI 의료 에이전트 아바타의 잠재력을 보여주기 위해 솔루션을 확장했습니다.

히포크라테스 AI의 공동 창업자이자 CEO인 문잘 샤(Munjal Shah)는 “저희의 디지털 보조원은 전 세계 환자들에게 유용하고 시의적절하며 정확한 정보를 제공합니다.”라고 말했습니다. “NVIDIA ACE 기술은 환자와 더욱 효과적으로 소통하는 데 도움이 되는 최첨단 비주얼과 사실적인 애니메이션을 통해 생생하게 구현합니다.”

UneeQ는 고객 서비스 및 대화형 애플리케이션을 위한 AI 기반 아바타 제작에 특화된 자율 디지털 휴먼 플랫폼입니다. UneeQ의 디지털 휴먼은 온라인에서 브랜드를 대표하며 고객과 실시간으로 소통하여 고객의 구매에 대한 확신을 심어줍니다. UneeQ는 NVIDIA Audio2Face 마이크로서비스를 플랫폼에 통합하고 이를 Synanim ML과 ​​결합하여 더 나은 고객 경험과 참여를 위한 매우 사실적인 아바타를 만들었습니다.

UneeQ의 CEO 겸 창립자인 Danny Tomsett는 “UneeQ는 NVIDIA 애니메이션 AI와 자체 Synanim ML 합성 애니메이션 기술을 결합하여 감정적으로 반응하는 실시간 디지털 인간 상호 작용을 제공하고 대화형 AI를 기반으로 하는 역동적인 경험을 제공합니다.”라고 말했습니다.

NVIDIA는 Generative AI의 선두에 있으며 NVIDIA ACE를 수용하는 개발자와 플랫폼에는 Convai, Cyber ​​Agent, Data Monsters, Deloitte, HippocraticAI, IGOODI, Inworld AI, Media.Monks, miHoYo, NetEase Games, Perfect World, Openstream, OurPalm, Quantiphi, Rakuten, Slalom, SoftServe, Tencent, Top Health Tech, Ubisoft, UneeQ 그리고 Unions Avatars가 있습니다. 웹사이트를 방문하여 디지털 휴먼 기술을 어떻게 활용하여 새로운 가능성을 창출하고 고객 경험을 향상시키고 있는지 알아보세요.

NVIDIA ACE: 디지털 캐릭터에 생명을 불어넣다

최고의 게임 및 디지털 휴먼 개발자들은 ACE 및 생성 AI 기술을 사용하여 게임 및 애플리케이션에서 플레이어와 NPC 간의 상호 작용을 변화시킬 수 있는 방법을 개척하고 있습니다. NVIDIA ACE, 향후 개발 및 조기 액세스 프로그램에 대해 자세히 알아보세요. 그리고 GeForce.com을 방문하여 최신 게임에서 NVIDIA RTX 기술과 GeForce RTX GPU의 더 많은 활용 사례를 알아보세요.