a16z: 새로운 시대의 '픽사', AI는 영화와 게임을 어떻게 융합할 것인가?

2024.08.30

a16z: 새로운 시대의 '픽사', AI는 영화와 게임을 어떻게 융합할 것인가?

다음 세기의 픽사는 전통적인 영화나 애니메이션을 통해 탄생하지 않고 인터랙티브 비디오를 통해 나타날 것이다.

2024.08.30 - 08:56:07

a16zAI游戏

Web3 심층 보도에 집중하고 흐름을 통찰

다음 세기의 픽사는 전통적인 영화나 애니메이션을 통해 탄생하지 않고 인터랙티브 비디오를 통해 나타날 것이다.

저자: Jonathan Lai

번역: TechFlow

지난 1세기 동안 기술의 변화는 우리가 가장 사랑하는 많은 이야기들을 탄생시켰다. 예를 들어 1930년대 디즈니는 멀티플레인 카메라를 발명하고 최초로 음성 동기화가 가능한 컬러 애니메이션을 제작했다. 이러한 기술적 돌파구는 개척적인 애니메이션 영화 『백설공주와 일곱 난쟁이』의 탄생을 가능하게 했다.

1940년대에는 마블과 DC 코믹스가 부상하며 '코믹스의 황금기'라 불리게 되었는데, 이는 사색 인쇄기와 오프셋 인쇄 기술의 보급 덕분에 만화를 대량 생산할 수 있었기 때문이다. 당시 기술의 한계—저해상도, 제한된 색조 범위, 저렴한 뉴스페이퍼 위의 도트 인쇄—는 오늘날까지도 쉽게 식별할 수 있는 독특한 '펄프 스타일' 외관을 만들어냈다.

비슷하게, 피크사는 1980년대 컴퓨터와 3D 그래픽이라는 새로운 기술 플랫폼을 활용할 수 있는 특별한 위치에 있었다. 공동 창업자 에드윈 카트뮬(Edwin Catmull)은 NYIT 컴퓨터 그래픽스 연구소와 루카스필름의 초기 연구자로서 기본 CGI 개념을 개척했으며, 이후 세계 최초의 전산 생성 장편 애니메이션 『토이 스토리』를 발표했다. 피크사의 그래픽 렌더링 툴킷인 RenderMan은 지금까지 500편 이상의 영화에서 사용되었다.

모든 기술적 물결 속에서, 처음엔 신기물 정도로 여겨졌던 초기 프로토타입이 점차 세대를 거쳐 새롭게 등장하는 창작자들에 의해 깊이 있는 서사 형식으로 진화해왔다. 오늘날 우리는 다음 세대의 피크사가 곧 등장할 것이라고 믿는다. 생성형 인공지능(Generative AI)이 창의적인 서사에 근본적인 변화를 일으키고 있으며, 인간 창작자들이 새로운 방식으로 이야기를 할 수 있도록 하고 있다.

구체적으로 말하면, 우리는 다음 세대의 피크사가 전통적인 영화나 애니메이션이 아니라 인터랙티브 비디오를 통해 탄생할 것이라고 본다. 이 새로운 서사 형식은 비디오 게임과 TV/영화 사이의 경계를 모호하게 만들며—깊이 있는 서사를 관객의 능동성과 '놀이(play)'와 결합함으로써 거대한 새로운 시장을 열어낼 것이다.

게임: 현대 서사의 최전선

현재 두 가지 주요 흐름이 나타나고 있는데, 이는 차세대 서사 회사의 출현을 가속화할 가능성이 있다:

소비자의 선형/수동적 미디어(즉, TV/영화)에서 인터랙티브 미디어로의 전환
생성형 인공지능(GenAI)이 이끄는 기술적 진보

지난 30년간 소비자의 관심이 점점 더 깊어지면서 게임과 인터랙티브 미디어는 세대를 거듭할수록 더욱 인기를 끌게 되었다. Z세대 및 그보다 어린 세대에게 게임은 이미 여가 시간을 보내는 가장 선호되는 활동이 되었으며, TV와 영화를 앞섰다. 2019년 넷플릭스 CEO 리드 헤이스팅스는 주주 서한에서 "우리는 HBO보다 포트나이트와의 경쟁에서 더 자주 패배한다"라고 언급하기도 했다. 대부분의 가정에서는 이제 "무엇을 볼까?"가 아니라 "무엇을 할까?"가 질문이다.

TV, 영화, 책들은 여전히 매력적인 이야기를 전하지만, 오늘날 가장 혁신적이고 성공적인 새로운 이야기 중 다수는 바로 게임 속에서 펼쳐지고 있다. 해리포터의 경우를 살펴보자. 오픈월드 롤플레잉 게임 『호그와트 레거시』는 플레이어가 호그와트의 새내기가 되는 몰입감 있는 경험을 제공한다. 이 게임은 2023년 가장 많이 팔린 작품이었으며 출시 직후 매출이 10억 달러를 넘겼고, 마지막 편인 『해리포터와 죽음의 성물(하)』(10.3억 달러)을 제외한 모든 『해리포터』 영화의 박스오피스를 넘어섰다.

게임 지적재산권(IP)은 최근 TV 및 영화 각색에서도 큰 성공을 거두고 있다. 너클러스트의 『Last of Us』는 2023년 HBO Max에서 가장 시청률이 높은 드라마가 되었으며, 평균 시청자가 3200만 명에 달했다. 『슈퍼 마리오 브라더스』 영화는 14억 달러의 박스오피스로 애니메이션 영화 사상 최대의 주말 개봉 성적을 기록했다. 또한 높은 평가를 받은 『폴아웃』 드라마, 파라마운트의 『헤일로』 시리즈, 톰 홀랜드 주연의 『언차티드』 영화, 마이클 베이 감독의 『스키피디 토이렛』 영화 등이 있다.

인터랙티브 미디어가 강력한 핵심 이유 중 하나는 적극적인 참여가 이야기나 세계관에 대한 친밀감을 조성한다는 점이다. 게임을 1시간 하는 집중도는 수동적으로 TV를 1시간 보는 것과 비교할 수 없을 정도로 높다. 많은 게임은 또한 사회성을 내포하며, 멀티플레이어 메커니즘을 핵심 설계 요소로 포함한다. 가장 기억에 남는 이야기는 종종 우리가 친구나 가족과 함께 만들어 나누었던 것들이다.

시청자들이 다양한 매체(시청, 게임, 창작, 공유)를 통해 지속적으로 IP와 상호작용하면서, 이야기는 단순한 오락을 넘어 개인 정체성의 일부가 된다. 어떤 사람이 단순한 '해리포터 관객'에서 진정한 '해리포터 팬'으로 변모하는 순간, 마법 같은 전환이 일어난다. 후자는 더 지속적이며, 원래는 개인 활동이었던 것을 중심으로 정체성과 다수의 공동체를 형성한다.

결론적으로, 역사상 가장 위대한 이야기들이 선형 미디어에서 탄생했지만, 미래를 바라볼 때 게임과 인터랙티브 미디어가 다음 세대의 이야기를 전달할 무대가 될 것이며, 따라서 다음 세대 가장 중요한 서사 회사도 여기서 탄생할 것이라 믿는다.

인터랙티브 비디오: 서사와 게임의 융합

게임이 문화에서 차지하는 지배적 위치를 고려할 때, 우리는 다음 세대의 피크사가 서사와 게임을 결합하는 미디어 형식을 통해 등장할 것이라고 본다. 그 가능성 중 하나가 바로 인터랙티브 비디오다.

먼저, 인터랙티브 비디오는 무엇이며, 비디오 게임과 어떻게 다른가? 비디오 게임에서는 개발자가 리소스를 게임 엔진에 미리 로드한다. 예를 들어 『슈퍼 마리오 브라더스』에서 아티스트는 마리오 캐릭터, 나무, 배경 등을 디자인하고, 프로그래머는 플레이어가 'A' 버튼을 누르면 마리오가 50픽셀 높이만큼 점프하도록 설정한다. 이 점프 프레임은 전통적인 그래픽스 파이프라인을 통해 렌더링되며, 결과적으로 게임 구조는 매우 결정론적이고 계산 중심적이며, 개발자가 완전한 통제권을 갖는다.

반면 인터랙티브 비디오는 신경망이 실시간으로 프레임을 생성하는 데 완전히 의존한다. 창의적 프롬프트(텍스트 또는 대표 이미지) 외에는 리소스를 업로드하거나 생성할 필요가 없다. 실시간 AI 이미지 모델은 플레이어 입력(예: '위' 버튼)을 받아 다음 프레임을 확률적으로 추론하여 생성한다.

인터랙티브 비디오의 잠재력은 TV와 영화의 접근성과 깊이 있는 서사를 유지하면서, 비디오 게임의 역동적이고 플레이어 중심의 시스템을 결합하는 데 있다. 누구나 TV를 보고 선형 이야기를 따라가는 법을 알고 있다. 여기에 플레이어 입력에 따라 실시간으로 생성되는 영상을 추가함으로써, 맞춤형이면서 무한한 게임 경험을 창출할 수 있다—이러한 미디어 작품은 팬들에게 수천 시간의 몰입을 제공할 수 있게 될 것이다. 블리자드의 『월드 오브 워크래프트』는 20년이 넘었지만 현재도 약 700만 명의 구독자를 유지하고 있다.

인터랙티브 비디오는 다양한 소비 방식도 제공한다—관객은 TV 프로그램처럼 편하게 콘텐츠를 즐길 수도 있고, 다른 때에는 모바일이나 컨트롤러로 능동적으로 플레이할 수도 있다. 팬들이 여러 방식으로 자신이 좋아하는 IP 세계를 체험할 수 있도록 하는 것은 크로스미디어 서사의 핵심이며, 이는 IP에 대한 친밀감을 강화하는 데 기여한다.

지난 10년간 많은 스토리텔러들이 인터랙티브 비디오의 비전을 실현하려 시도했다. 초기 돌파구는 로버트 커크맨의 만화 시리즈를 기반으로 한 인터랙티브 체험 『워킹 데드』였다. 플레이어는 애니메이션 장면을 보다가 대화 선택이나 빠른 반응 이벤트와 같은 중요한 순간에 선택을 하게 된다. 예를 들어 좀비 공격에서 어느 캐릭터를 구할지 결정하는 등의 선택은 각기 다른 이야기 변주를 만들어내며, 매번의 게임 경험을 독특하게 만든다. 『워킹 데드』는 2012년 출시되어 큰 성공을 거두었으며, 여러 해의 게임상을 수상했고, 지금까지 2800만 부 이상 판매되었다.

2017년 넷플릭스도 인터랙티브 비디오 분야에 진출했는데, 애니메이션 작품 『고양이 책』로 시작해 이후 높은 평가를 받은 실사 영화 『블랙 미러: 밴더스내치』를 발표했다. 이 영화에서 관객은 젊은 프로그래머가 환상 소설을 비디오 게임으로 각색하는 과정에서 선택을 한다. 밴더스내치는 연말 화제작이 되었고, 열광적인 팬층을 형성해 흐름도를 만들어 영화의 모든 가능한 결말을 기록하기도 했다.

그러나 긍정적인 평가에도 불구하고, 밴더스내치와 『워킹 데드』 모두 생존 위기에 직면했다—이 형식을 정의하는 수많은 분기 스토리를 수작업으로 만드는 데 드는 시간과 비용이 너무 비쌌다. 텔테일이 여러 프로젝트로 확장하면서 개발자들 사이에서는 잔업 문화가 생겼고, 개발자들은 "피곤함과 소진"을 호소했다. 서사의 질도 저하되었는데, 『워킹 데드』 초반 메타크리틱 평점은 89였지만, 4년 후 텔테일이 자사 최대 IP 중 하나인 『배트맨』을 출시했을 때는 실망스러운 64점을 기록했다. 2018년 텔테일은 파산을 선언하며 지속 가능한 비즈니스 모델을 구축하지 못했다.

『밴더스내치』의 경우 제작진은 영화의 5개 결말을 설명하기 위해 250개의 영상 클립과 5시간 이상의 영상을 촬영했다. 예산과 제작 시간은 일반 『블랙 미러』 에피소드의 두 배였으며, 제작진은 이 프로젝트의 복잡성이 "동시에 4개 에피소드를 제작하는 것"과 같다고 밝혔다. 결국 2024년 넷플릭스는 인터랙티브 특집 부문 전체를 폐쇄하고 전통 게임 제작으로 전환했다.

지금까지 인터랙티브 비디오 프로젝트는 내용 비용이 게임 시간과 선형적으로 비례했으며, 이를 우회할 방법이 없었다. 그러나 생성형 AI 모델의 발전이 인터랙티브 비디오를 규모화하는 데 핵심이 될 수 있다.

생성 모델은 곧 인터랙티브 비디오를 지원할 만큼 충분히 빨라질 것이다

최근 이미지 생성 모델의 지식 증류(knowledge distillation) 분야에서 놀라운 진전이 있었다. 2023년 잠재 일관성 모델과 SDXL Turbo의 출시는 이미지 생성 속도와 효율성을 크게 향상시켰다. 고해상도 이미지를 이전 20~30단계에서 한 단계로 렌더링할 수 있게 되었으며, 비용도 30배 이상 절감되었다. 일련의 프레임 간 변화를 유지하는 일관된 이미지들로 구성된 비디오 생성 아이디어는 갑자기 매우 현실 가능해졌다.

올해 초 OpenAI는 최대 1분 길이의 비디오를 생성하면서 시각적 일관성을 유지하는 텍스트-투-비디오 모델 Sora를 발표하며 큰 주목을 받았다. 얼마 지나지 않아 Luma AI는 더 빠른 비디오 모델인 Dream Machine을 출시해 120초 안에 120프레임(약 5초 분량)을 생성했다. Luma는 최근 단 7주 만에 놀라운 1000만 사용자를 유치했다고 밝혔다. 지난달 Hedra Labs는 캐릭터 중심의 멀티모달 비디오 모델 Character-1을 발표해 90초 만에 60초 분량의 비디오를 생성하며, 풍부한 인간 감정 표현과 음성 동기화를 보여줬다. Runway는 최근 15초 만에 10초 분량의 비디오를 렌더링하는 Gen-3 Turbo를 출시했다.

오늘날, 야심찬 영화 제작자는 텍스트 프롬프트나 참조 이미지로부터 몇 분 길이의 720p HD 비디오 콘텐츠를 빠르게 생성할 수 있으며, 시작 또는 종료 키프레임과 짝을 이루어 구체성을 높일 수 있다. Runway는 또한 프레임 내 카메라 제어, 프레임 보간, 모션 브러시 등 확산 생성 비디오에 대한 더 세밀한 제어를 제공하는 편집 도구 세트를 개발했다. Luma와 Hedra도 곧 자체 크리에이터 도구 세트를 출시할 예정이다.

제작 워크플로는 아직 초기 단계지만, 우리는 이미 이 도구들을 활용해 이야기를 만드는 콘텐츠 크리에이터들을 만났다. Resemblance AI는 Luma, Midjourney, Eleven Labs를 사용해 제2차 세계대전 대체 역사물을 다룬 3분짜리 짧은 영화 Nexus 1945를 제작했다. 독립 영화 제작자 Uncanny Harry는 Hedra와 함께 사이버펑크 단편을 만들었고, 크리에이터들은 뮤직비디오, 예고편, 여행 V로그, 심지어 패스트푸드 햄버거 광고도 만들었다. 2022년 이래 Runway는 매년 인공지능 영화제를 개최해 우수한 AI 제작 단편 10편을 선정하고 있다.

특별히 언급해야 할 점은 현재 여전히 존재하는 한계들이다—프롬프트로 생성된 2분 분량의 클립과 전문 팀이 만든 2시간 분량의 장편 영화 사이에는 서사적 질과 제어력 면에서 명백한 격차가 있다. 프롬프트나 이미지를 통해 크리에이터가 원하는 콘텐츠를 얻는 것은 어렵고, 숙련된 프롬프트 엔지니어라도 생성된 콘텐츠의 대부분을 폐기하는 경우가 많다. AI 크리에이터 Abel Art는 1분의 일관된 비디오를 생성하려면 약 500개의 비디오가 필요하다고 보고했다. 이미지 일관성은 보통 연속 재생 1~2분 후부터 붕괴되기 시작하며, 수동 편집이 필요한 경우가 많아, 오늘날 대부분의 생성 비디오가 약 1분 길이로 제한되는 이유다.

대부분의 전문 할리우드 스튜디오에게는 확산 모델로 생성된 비디오가 프리프로덕션 단계에서 장면이나 캐릭터의 시각화를 위한 스토리보드 용도로 사용될 수 있지만, 실사 촬영을 대체하긴 어렵다. 포스트프로덕션에서는 AI를 활용한 음향 및 시각 효과 처리가 가능하지만, 전반적으로 AI 크리에이터 도구 세트는 수십 년간 투자가 이루어진 기존 워크플로에 비해 여전히 초기 단계다.

단기적으로, 생성형 비디오의 가장 큰 기회 중 하나는 인터랙티브 비디오와 단편과 같은 새로운 미디어 형식의 개발이다. 인터랙티브 비디오는 플레이어의 선택에 따라 짧은 1~2분 분량의 클립으로 나뉘며, 보통 애니메이션 혹은 스타일화된 형태로, 저해상도 자산을 사용할 수 있다. 더 중요하게는, 확산 모델을 이용해 이런 짧은 비디오를 제작하는 비용은 텔테일/밴더스내치 시대보다 훨씬 경제적이다—Abel Art는 Luma에서 1분 분량 비디오의 비용을 125달러로 추정하며, 이는 하루 영화 카메라 렌탈비와 맞먹는 수준이다.

오늘날 생성 비디오의 품질이 일정하지 않을 수 있지만, ReelShort와 DramaBox와 같은 세로형 단편의 인기는 낮은 제작 가치의 드라마 단편에 대한 시청자 수요가 있음을 입증하고 있다. 비평가들이 사진 촬영이 아마추어적이고 대본이 공식화되었다고 비판하더라도, ReelShort는 3000만 건 이상의 다운로드와 월 1000만 달러 이상의 수익을 올렸으며, 『금지된 욕망: 알파의 사랑』과 같은 수천 편의 미니시리즈를 출시했다.

인터랙티브 비디오가 직면한 가장 큰 기술적 장벽은 실시간 콘텐츠 생성을 위해 충분히 빠른 프레임 생성 속도에 도달하는 것이다. Dream Machine은 현재 초당 약 1프레임을 생성한다. 현대 게임 콘솔의 최소한의 목표는 안정적인 30 FPS이며, 60 FPS가 황금 표준이다. PAB 같은 기술의 도움으로 특정 비디오 유형에서는 10~20 FPS까지 향상될 수 있지만, 여전히 속도가 부족하다.

현황: 인터랙티브 비디오의 지형

우리가 목격하고 있는 기반 하드웨어와 모델의 개선 속도를 고려할 때, 상업적으로 실현 가능한 완전 생성형 인터랙티브 비디오까지는 약 2년 정도 남았다고 본다.

현재 우리는 마이크로소프트 리서치와 OpenAI 같은 기관이 인터랙티브 비디오를 위한 엔드투엔드 기반 모델 연구 분야에서 진전을 이루고 있다. 마이크로소프트의 모델은 완전히 '플레이 가능한 세계'를 갖춘 3차원 환경을 생성하는 것을 목표로 한다. OpenAI는 Sora의 데모를 통해 '제로샷(zero-shot)' 마인크래프트 시뮬레이션을 보여주었다. "Sora는 마인크래프트에서 플레이어의 행동을 동시에 제어하며, 세계와 그 역학을 고충실도로 렌더링할 수 있다."

2024년 2월, Google DeepMind는 자체 엔드투엔드 인터랙티브 비디오 기반 모델 Genie를 발표했다. Genie의 특징은 일련의 비디오 프레임 사이의 잠재적 행동을 추론하는 잠재 행동 모델이다. 30만 시간 분량의 플랫폼 비디오로 훈련된 Genie는 장애물을 넘는 방법 등 캐릭터의 행동을 인식하는 법을 배웠다. 이 잠재 행동 모델은 비디오 토크나이저와 결합되어 다이나믹 모델에 입력되며, 다음 프레임을 예측함으로써 인터랙티브 비디오를 구성한다.