가상 인물의 '업무용 얼굴'을 벗겨내다, DreamTalk 오픈소스 공개로 기회 열어
글: 무무
AI 대규모 모델의 바람을 타고, 메타버스 열풍 속에서 등장했던 가상 디지털 휴먼이 다시 한 번 주목받고 있다. 자연어 대규모 모델과 결합된 인공지능은 3D 애니메이션, 모션 캡처, 중지노인(中之人) 기술 등을 통해 움직이고 말하는 가상 인간에게 이제 '두뇌'를 제공한다.
AI화 이후 원래부터 텍스트와 음성으로 콘텐츠를 출력할 수 있었던 가상인간은 외부와의 상호작용에서 더욱 지능적으로 변했으며, 출력되는 콘텐츠의 풍부함과 전문성도 한 단계 업그레이드되었다. 더 중요한 것은 AI가 가상 인간 제작 과정에서 생산성을 높였다는 점이다.
2023년에는 다양한 인공지능 요소가 추가된 가상인이 콘텐츠 방송, 라이브 스트리밍 등 여러 분야에 널리 활용되며 이커머스 및 짧은 동영상 블로거들의 새로운 인기 아이템이 되었다.
하지만 여전히 부족한 점이 존재한다. 사실감을 추구하는 유형의 가상인간은 표정, 목소리, 동작에서 여전히 기계적인 느낌을 감출 수 없으며, 자연스러움과 현실감은 실제 인간의 육신과 비교하면 훨씬 떨어진다. 일부 개발자들은 이러한 단점을 보완하기 위해 AI 대규모 모델을 활용하려 하고 있으며, DreamTalk이 그 해결책 중 하나다.
확산 모델(diffusion model) 기반의 이 프레임워크는 알리바바, 칭화대학교, 후아중과기대가 공동으로 개발하였으며, 머리부터 시작해 가상 아바타가 말하고 노래할 수 있을 뿐 아니라 표정 변화를 모방하고 입 모양을 동기화시킬 수 있다.
최근 DreamTalk이 오픈소스로 공개되면서, 이 프레임워크는 가상인간에게 '감정'을 불어넣을 가능성이 커졌다.
가상인간의 감정 어린 표현 강화
DreamTalk의 핵심 기술은 단 한 장의 아바타 이미지만으로 얼굴을 움직일 수 있게 만들고, 음성 입력만 있으면 말하게 할 수 있으며 입 모양과 신체 상태를 정확히 맞춰 말하는 영상을 생성하는 것이다.
인간 같은 표현은 '학습'에서 시작된다. 대규모 모델 프레임워크를 기반으로 DreamTalk은 입력된 음성과 초상화에서 표현 스타일을 학습하고 추론하여 개성 있는 표현 영상을 생성할 수 있다. 동일한 오디오 소스를 사용하더라도 아바타는 화남, 기쁨, 슬픔, 경멸 등의 다양한 감정 상태를 나타내며, 각각에 맞는 얼굴 표정으로 표현할 수 있다.
DreamTalk은 다양한 인물 표정 지원
이처럼 인간의 표정을 시뮬레이션하는 DreamTalk 같은 솔루션은 가상인간 제작 과정에 또 하나의 도구를 더했다. 현재 가상인간이 가장 부족한 것이 바로 감정 표현력이기 때문이다.
기쁨이 얼굴에 역력하거나 눈썹을 찌푸리며 성질을 내거나, 눈물과 콧물을 줄줄 흘리며 울거나, 활짝 웃는 모습까지, 인간의 기쁨, 슬픔, 분노, 즐거움 등의 감정은 항상 얼굴에 먼저 드러난 후 언어로 태도를 표현한다. 반면 다양한 형태의 가상인간은 늘 '서비스 얼굴'만을 갖고 있으며, 이모티콘에서는 '미소'나 '멋부림' 정도밖에 없고, 로봇 음성도 다양한 억양이 있지만 여전히 기계적인 느낌을 벗어나지 못한다.
올해 초 소빙(小冰) 회사는 'GPT 클론인 계획'을 시작하며 AI와 가상인간을 결합했다. 이로 인해 탄생한 AI 클론 인플루언서 '반장센린(半藏森林)'은 출시 직후 주목을 받았지만, 뻣뻣한 표정 때문에 많은 사람들이 경험감이 좋지 않다고 비판했다.
최근 소빙의 클론인이 타오바오 플래그십 스토어에 입점했으나, 얼굴 경직 문제는 여전히 존재한다. 일부 구매자들은 "비디오 통화가 너무 가짜 같고, 실제 블로거와 전혀 닮지 않았다"고 평가했다.
중국 전통 미디어 대학교가 발표한 조사에 따르면, 다양한 유형의 가상 디지털 휴먼에 대해 대중은 외형, 캐릭터 설정, 기술력, 서비스 능력에 대한 기대가 명확히 다르게 나타났다. 60% 이상의 사용자가 가상 아이돌의 외형과 작품을 가장 중요하게 생각했으며, 66%의 사용자가 가상 MC의 진행 스타일을 중요하게 여겼고, 50%의 사용자는 가상 직원의 핵심이 기술 서비스 및 크로스보더 협업 능력이라고 답했다.
가상인간이 라이브 방송 등을 통해 인간과 직접 상호작용하는 상황에 진입하면서, 요구사항은 가상인간의 개인화 방향으로 발전하고 있으며, 특히 AI 대규모 모델 등장 이후 가상인간의 감정, 나아가 정서까지 해결하는 솔루션이 독립된 경쟁 분야가 될 전망이다.
DreamTalk 개발사 중 하나인 알리바바는 이전에 '대화 내용 생성, 가상 대화, 대화 데이터 처리 방법' 관련 특허를 신청한 바 있다. 요약 내용에 따르면, 감정 연관 그래프를 구성함으로써 대화 감정을 유발하는 특정 키워드를 깊이 이해하고, 이를 통해 감정 키워드로 목표 키워드를 예측함으로써 대화 응답 내용에 공감을 효과적으로 표현하고 공감 대화를 실현하며, 대화 내용 생성의 정확도를 향상시킬 수 있다고 한다.
2024년에 접어들며 시장이 가상인간에게 요구하는 것은 단순히 말하고 움직일 수 있는 정도가 아니라, '감정 가치'를 극대화해야 하는 상황이 되었다.
AI, 두뇌에 이어 감정까지 제공
음성과 이미지를 통해 감정을 적절히 매칭할 수 있는 DreamTalk 같은 AI 솔루션은 가상인간의 '이모티콘'을 풍부하게 만들 뿐 아니라 제작자들에게 편리한 도구를 제공할 전망이다.
기술적으로 볼 때, 가상인간은 AI 시뮬레이션 도구를 통해 실시간 인간 드라이브의 제약에서 벗어날 기회를 갖게 된다.
'알고리즘 기반' 가상인간 이전에는 대부분의 가상인간 애플리케이션이 실시간 인간 드라이브에 의존했다. 즉 우리가 흔히 말하는 '중지노인(中之人)'으로, 모션 캡처 장비를 통해 사람의 몸짓, 눈빛, 동작 등을 캡처한 후에야 구동과 렌더링이 가능하다. 일반적으로 이 방식은 제작 주기가 길고 비용도 높은 편이다.
화lian AI의 창립자 류웨이는 단지 가상인간을 빠르게 생성하고, 저비용으로 대량 복제 가능하며 고빈도 콘텐츠 생산이 가능한 동시에 중지노인의 제약에서 벗어나야 비로소 가상인간이 보편적인 상업적 가치를 지닐 수 있다고 말한 바 있다.
반면 '알고리즘 기반' 가상인간은 모델이 말할 때의 입 모양, 표정, 음성, 자세 및 동작 등을 스스로 학습하여 구동할 수 있어 실시간 인간 참여가 필요 없으며, 더 빠른 렌더링이 가능하고 제작 비용을 낮출 수 있다. 따라서 이러한 기술은 가상인간의 대규모 제작에 더욱 적합하다.
사용자 경험 측면에서 보면, 지능화된 감정 생성은 가상인간의 상호작용 능력을 효과적으로 향상시킬 수 있다.
현재 많은 종류의 동행형 가상인간 앱이 등장했는데, 그중 해외에서 일일 활성 사용자가 백만 명에 달하는 'Talkie'라는 가상 동행 앱이 있다. 지난해 8월부터 이 앱의 다운로드 수는 계속해서 높은 수준을 유지하며 미국 Google Play 엔터테인먼트 앱 다운로드 차트 상위 10위 안에 장기간 머물렀다. 미국 외에도 뉴질랜드, 영국, 캐나다, 호주 등 선진 시장에서도 Talkie는 좋은 성과를 거두고 있다.
Talkie 가상인간은 '대화 동행'을 주목
하지만 Talkie를 포함해 현재 대부분의 동행 중심 가상인간 앱은 감정적 상호작용 측면에서 표현이 단조롭다. 예를 들어 Talkie의 모든 가상 캐릭터는 채팅 배경에 정지 이미지 형태로 나타나며, 상호작용 방식도 언어 중심의 '대화 동행'이 전부다.
AI 기술의 돌파구가 계속 열리면서 Talkie 같은 앱은 가상 동행 제품의 최종 형태가 아니며, 일종의 과도기적 형태일 뿐이다. 디지털 휴먼의 감정 표현 문제를 해결하는 솔루션은 가상인간에게 '영혼'을 불어넣을 수 있으며, 가상인간 제품의 혁신적 기회가 될 전망이다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
