게임용 NVIDIA ACE 소개 - 생성형 AI로 가상 캐릭터에 생명 불어넣기

시간이 지남에 따라 진화하는 지속적인 성격과 정확한 얼굴 애니메이션 및 표현을 가진 NPC(Non-Playable Character)와 지적이고 대본이 없고 역동적인 대화를 모두 모국어로 할 수 있는 게임을 상상해 보십시오.

생성형 AI 기술은 이를 현실로 만들고 있으며, COMPUTEX 2023에서 NVIDIA는 게임용 NVIDIA Avatar Cloud Engine(ACE)으로 NPC의 미래를 발표했습니다. 게임을 위한 NVIDIA ACE는 AI 기반 자연어 상호 작용을 통해 플레이할 수 없는 캐릭터(NPC)에 인텔리전스를 부여하여 게임을 혁신하는 것을 목표로 하는 맞춤형 AI 모델 파운드리 서비스입니다.

NVIDIA의 개발자 및 성능 기술 부사장인 John Spitzer는 “생성형 AI는 플레이어가 게임 캐릭터와 가질 수 있는 상호 작용을 혁신하고 게임 몰입도를 극적으로 높일 수 있는 잠재력을 가지고 있습니다. "AI에 대한 전문 지식과 게임 개발자들과의 수십 년간의 경험을 바탕으로 NVIDIA는 게임 분야에서의 생성형  AI 가속화를 주도하고 있습니다."

미들웨어, 도구 및 게임 개발자는 게임용 NVIDIA ACE를 사용하여 클라우드와 PC의 소프트웨어 및 게임에서 맞춤형 음성, 대화 및 애니메이션 AI 모델을 구축하고 배포할 수 있습니다.

최적화된 AI 기반 모델에는 다음이 포함됩니다.

• 기본 언어 모델과 모델 사용자 지정 도구를 제공하는 NVIDIA NeMo는 개발자가 게임 캐릭터의 모델을 추가로 조정할 수 있도록 합니다. 이 맞춤형 LLM(Large Language Model)은 개발자의 게임 세계에 맞는 특정 캐릭터의 배경과 성격을 가능하게 합니다. 개발자는 NeMo Guardrails가 있는 NPC에 대한 프로그래밍 가능한 규칙을 통해 장면 맥락 내에서 플레이어 상호 작용을 더 잘 조정할 수 있습니다.
• NVIDIA Riva는 자동 음성 인식(ASR) 및 텍스트 음성 변환(TTS) 기능을 제공하여 NVIDIA NeMo로 실시간 음성 대화를 가능하게 합니다.
• NVIDIA Omniverse Audio2Face 는 오디오 소스만으로 게임 캐릭터의 표현력이 풍부한 얼굴 애니메이션을 즉시 생성합니다. Audio2Face는 Unreal Engine 5용 Omniverse 커넥터를 제공하므로 개발자는 얼굴 애니메이션을 MetaHuman 캐릭터에 직접 추가할 수 있습니다.

게임용 NVIDIA ACE의 성능을 보여주고 가까운 미래에 개발자가 NPC를 구축하는 방법을 미리 보기 위해 게임 및 가상 세계에서 AI 캐릭터를 만들고 배포하기 위한 플랫폼을 구축하는 NVIDIA Inception 스타트업인 Convai와 파트너십을 맺었습니다. ACE 모듈을 플랫폼에 통합합니다.

NVIDIA Kairos 데모를 먼저 살펴보십시오.

Convai의 창립자이자 CEO인 Purnendu Mukherjee는 “게임용 NVIDIA ACE를 통해 Convai의 도구는 거의 모든 개발자가 AI 플레이 불가능한 캐릭터를 비용 효율적인 방식으로 사용할 수 있도록 하는 데 필요한 지연 시간과 품질을 달성할 수 있습니다.

Kairos 데모는 음성-텍스트 및 텍스트-음성 변환 기능을 위해 NVIDIA Riva를, 대화형 AI를 강화하기 위해 NVIDIA NeMo를, 음성 입력에서 AI 기반 얼굴 애니메이션을 위해 Audio2Face를 활용했습니다. 이러한 모듈은 Convai 서비스 플랫폼에 원활하게 통합되었으며 Unreal Engine 5 및 MetaHuman에 공급되어 Jin에게 생명을 불어넣었습니다.

Jin과 그의 Ramen Shop 장면은 NVIDIA Lightspeed Studios 아트 팀에서 제작했으며 전체를 Unreal Engine 5로 렌더링했습니다. NVIDIA RTX Direct Illumination(RTXDI)을 사용하여 광선 추적 조명과 그림자를 구현하고 DLSS를 사용하여 가능한 최고의 프레임 속도와 이미지 품질을 구현했습니다.

이 실시간 데모는 GeForce RTX 그래픽 카드, NVIDIA RTX 기술 및 NVIDIA ACE for Games를 사용하여 무엇이 가능한지 보여줍니다. 그리고 이 판도를 바꾸는 기술을 활용하는 향후 게임의 가능성을 예시합니다.

게임 개발자와 스타트업은 이미 NVIDIA 생성 AI 기술을 사용하고 있습니다. 예를 들어, GSC Game World는 많은 기대를 모으고 있는 S.T.A.L.K.E.R. 2 Heart of Chornobyl에서 Audio2Face를 사용하고 있습니다. 그리고 인디 개발자인 Fallen Leaf는 화성을 배경으로 한 3인칭 공상 과학 스릴러인 Fort Solis에서 캐릭터 얼굴 애니메이션에 Audio2Face를 사용하고 있습니다. 또한 AI를 통해 가상 캐릭터를 구현하는 회사인 Charisma.ai는 Audio2Face를 활용하여 대화 엔진의 애니메이션을 강화하고 있습니다.

생성형 AI 기술에 대한 추가 정보가 필요한 경우 NVIDIA 개발자 블로그에서 확인하세요. 게임용 NVIDIA ACE, 향후 개발 및 조기 액세스 프로그램에 대해 자세히 알아보고 싶다면 뉴스레터를를 구독하세요. 또한 GeForce.com에서 최신 게임에서 NVIDIA RTX 기술과 GeForce RTX GPU를 더 많이 사용하는 방법을 알아보세요.