a16z：新しい時代の「ピクサー」とは？ AIが映画とゲームをどう融合させるか
TechFlow厳選深潮セレクト
a16z：新しい時代の「ピクサー」とは？ AIが映画とゲームをどう融合させるか
次の世紀のピクサーは、従来の映画やアニメーションによって生まれるのではなく、インタラクティブビデオを通じて誕生する。
Web3業界の深掘り報道に専念し潮流を洞察著者：Jonathan Lai
翻訳：TechFlow
過去一世紀にわたり、技術の変革は私たちが最も愛する多くの物語を生み出してきました。1930年代を例に挙げると、ディズニーはマルチプレーン・カメラを発明し、音声同期付きのフルカラー・アニメーションを初めて制作しました。この技術的ブレークスルーにより、画期的なアニメ映画『白雪姫と七人の小人』の誕生が可能になったのです。
1940年代には、マーベルやDCコミックスが台頭し、「コミックの黄金時代」と呼ばれるようになりました。これは4色回転印刷機やオフセット印刷技術の広範な普及により、コミックが大量生産できるようになったからです。当時の技術的制約——低解像度、限られたトーン範囲、安価な新聞紙へのドット印刷——は、今日でも識別可能な象徴的な「パルプ」外観を形成しました。
同様に、ピクサーは1980年代にコンピュータと3Dグラフィックスという新技術プラットフォームを活用するユニークな立場にありました。共同創設者のエドウィン・カトマル（Edwin Catmull）は、NYITコンピュータグラフィックス研究所およびルーカスフィルムの初期研究者として、基本的なCGI概念を確立し、後に初の完全コンピュータ生成長編アニメ『トイ・ストーリー』をリリースしました。ピクサーのグラフィックレンダリングスイートであるRenderManは、これまでに500本以上の映画で使用されています。
各技術の波において、当初は珍奇な存在だった初期プロトタイプが、次第に新しい形式の深い物語表現へと進化し、新たな世代のクリエイターたちによって牽引されてきました。今日、我々は「次のピクサー」がまもなく登場すると信じています。ジェネレーティブAI（Generative AI）は創造的物語表現に根本的な変化をもたらしており、新しい世代の人間クリエイターがまったく新しい方法で物語を語ることを可能にしています。
具体的には、次の世紀のピクサーは伝統的な映画やアニメーションではなく、インタラクティブ・ビデオを通じて生まれると考えます。この新しい物語フォーマットは、ビデオゲームとテレビ／映画の境界を曖昧にし、深いナラティブ性と視聴者の能動性、「遊び」の要素を融合させることで、巨大な新市場を開くことでしょう。
ゲーム：現代物語の最前線
現在、新しい世代の物語企業の形成を加速させる可能性を持つ二つの大きな潮流が進行中です：
-
消費者の移行：線形的・受動的メディア（テレビ／映画）からインタラクティブ・メディアへのシフト
-
ジェネレーティブAIが駆動する技術的進歩
過去30年間、消費者の傾向は一貫して深まり、ゲームやインタラクティブ・メディアは世代ごとにますます人気を集めています。Z世代以降にとって、ゲームはすでに余暇時間を費やす主な手段となり、テレビや映画を上回っています。2019年、Netflix CEOのリード・ヘイスタインズは株主宛て書簡でこう述べました。「われわれは『フォートナイト』と競合しており、しばしばそれに敗れています。HBOよりです。」多くの家庭にとって、問題は「何を見るか」ではなく「何をするか」なのです。
テレビ、映画、書籍は依然として魅力的な物語を語っていますが、今日最も革新的で成功している新作の多くはゲームの中で語られています。たとえば『ハリー・ポッター』。オープンワールドRPG『ホグワーツの遺産』は、プレイヤーがホグワーツの新入生になる体験を、かつてないほど没入感を持って提供します。このゲームは2023年のベストセラーとなり、リリース時に収益が10億ドルを超え、最終章『死の秘宝（下）』（10.3億ドル）を除くすべての『ハリー・ポッター』映画の興行成績を上回りました。
ゲームIP（知的財産）は近年、映画やテレビでの実写化でも大成功を収めています。ナショナル・ゾンビーズの『最後の生き残り』は2023年にHBO Maxで最高視聴率を記録し、1話あたり平均3200万人が視聴しました。『スーパーマリオブラザーズ』の映画は14億ドルの興行収入をあげ、アニメ映画史上初の世界最大規模の週末オープニングを達成しました。他にも高い評価を得た『フォールアウト』ドラマ、パラマウントの『ヘイロー』シリーズ、トム・ホランド主演の『アンチャーテッド』、マイケル・ベイ監督の『スキビディ・トイレ』映画など、多数の成功例があります。
インタラクティブ・メディアがこれほど強力な理由の一つは、能動的に参加することで物語や世界観に対する親密さが高まる点にあります。1時間ゲームに集中することは、1時間テレビを受動的に見るよりもはるかに注意力を要します。多くのゲームはソーシャル性も高く、多人数プレイ機能がコア設計に組み込まれています。最も印象深い物語は、しばしば家族や友人と共に作り上げ、共有したものです。
視聴者が複数の媒体（視聴、プレイ、創作、共有）を通じて継続的にIPと関わり合うことで、物語は単なる娯楽を超えて個人のアイデンティティの一部となります。ある人が単なる「ハリー・ポッター視聴者」から「熱心なポッターヘッド」へと成長する瞬間に魔法のような変化が起こります。後者は持続性が高く、元々は一人の活動だった内容を中心にアイデンティティと多人数コミュニティを築き上げます。
総じて、人類史上最高の物語の多くは線形メディアで語られてきましたが、将来を見据えるなら、ゲームとインタラクティブ・メディアこそが未来の物語を語る場所となるでしょう。だからこそ、次の世紀で最も重要な物語企業がここに現れると我々は信じます。
インタラクティブ・ビデオ：物語とゲームの融合
ゲームが文化において支配的地位を占めていることを踏まえ、我々は「次のピクサー」が物語とゲームを融合するメディアフォーマットを通じて登場すると信じます。その中でも特に可能性が高いのが、インタラクティブ・ビデオです。
まず、インタラクティブ・ビデオとは何か？ そしてビデオゲームとの違いは何でしょうか？ ビデオゲームでは、開発者がリソースを事前にゲームエンジンにロードします。たとえば『スーパーマリオブラザーズ』では、アーティストがマリオのキャラクターや木、背景をデザインします。プログラマーはAボタン押下時にマリオが50ピクセルジャンプするように設定します。ジャンプのフレームは従来のグラフィックパイプラインでレンダリングされます。この結果、ゲームのアーキテクチャは極めて決定論的・計算的になり、開発者が完全に制御します。
一方、インタラクティブ・ビデオは、神経ネットワークがリアルタイムでフレームを生成することに完全に依存します。クリエイティブなプロンプト（テキストまたは代表画像）以外に、リソースのアップロードや作成は不要です。リアルタイムAI画像モデルはプレイヤーの入力（例：「上」ボタン）を受け取り、次のフレームを確率的に推測して生成します。
インタラクティブ・ビデオの可能性は、テレビ・映画のアクセスしやすさと深い物語性を維持しつつ、ビデオゲームのダイナミックでプレイヤー主導のシステムを統合できる点にあります。誰もがテレビを見て線形ストーリーを追う方法を知っています。そこにプレイヤーの入力に基づいてリアルタイム生成されるビデオを加えることで、パーソナライズされ無限のゲーム体験を創出できます。それは作品がファンに数千時間もの時間を捧げられるような巨大市場を生み出すかもしれません。ブリザードの『ワールド・オブ・ウォクラフト』は20年以上続き、現在でも約700万人のサブスクユーザーを保有しています。
インタラクティブ・ビデオはまた、複数の消費方法を提供します。視聴者はテレビ番組のように気軽にコンテンツを楽しむこともできれば、別のタイミングでモバイルやコントローラーを使って能動的にプレイすることも可能です。ファンが可能な限り多くの方法で好きなIPの世界を体験できるようにすることは、クロスメディア物語の核であり、IPへの親密さを高める鍵となります。
過去10年間、多くのクリエイターがインタラクティブ・ビデオのビジョンを実現しようと挑戦してきました。初期のブレークスルーはテルテイルの『ウォーキング・デッド』でした。これはロバート・カークマンのコミックシリーズを基にしたインタラクティブ体験で、プレイヤーはアニメシーンの展開を視聴しながら、対話や迅速反応イベントの瞬間に選択を行います。これらの選択——たとえばゾンビ襲撃中にどのキャラクターを救うか——が個別化された物語のバリエーションを生み出し、それぞれのプレイ体験を唯一無二にしました。『ウォーキング・デッド』は2012年にリリースされ、大きな成功を収めました。複数のゲーム・オブ・ザ・イヤー賞を獲得し、累計販売本数は2800万本以上に達しています。
2017年には、Netflixもインタラクティブ・ビデオ分野に参入しました。アニメ作品の『ねこばんし』から始まり、後に高い評価を受けた『ブラックミラー：バンダースナッチ』をリリース。これは、若いプログラマーがファンタジー小説をゲーム化しようとする過程で、視聴者が選択を行う実写映画です。バンダースナッチはホリデー・フェノメノンとなり、熱狂的なファン層を獲得。彼らは映画のフローチャートを作成し、すべての可能結末を記録しました。
しかし、好評を得たにもかかわらず、バンダースナッチと『ウォーキング・デッド』はいずれも生存危機に直面しました。このフォーマット特有の無数の分岐ストーリーを手作業で構築するのは、時間とコストが膨大すぎたのです。テルテイルが複数プロジェクトに拡大すると、開発者間で過労文化が定着し、「疲弊」「燃え尽き」を訴える声が上がりました。ナラティブの質も低下。『ウォーキング・デッド』のMetacriticスコアは当初89でしたが、4年後、同社最大のIPの一つ『バットマン』をリリースした際には不満足な64にまで落ち込みました。2018年、テルテイルは破産を宣告し、持続可能なビジネスモデルを築けなかったのです。
『バンダースナッチ』の場合、制作チームは映画の5つの結末を説明するために、250のビデオクリップ、合計5時間以上の撮影素材を用意しました。予算と制作期間は通常の『ブラックミラー』エピソードの2倍とされ、制作プロデューサーはプロジェクトの複雑さを「4話分を同時に制作する」に相当すると語っています。最終的に2024年、Netflixはインタラクティブ特別企画部門全体を終了し、代わりに従来型ゲームの制作に方針転換しました。
これまで、インタラクティブ・ビデオプロジェクトのコンテンツコストは、プレイ時間に対して線形関係にありました。この問題を回避する方法はありませんでした。しかし、ジェネレーティブAIモデルの進歩が、インタラクティブ・ビデオをスケーラブルにする鍵となる可能性があります。
ジェネレーティブモデルは、まもなくインタラクティブ・ビデオを支える速度に到達する
最近の画像生成モデル蒸留技術の進展は驚異的です。2023年、潜在一貫性モデルやSDXLのTurboの登場により、画像生成の速度と効率が大幅に向上。高解像度レンダリングが従来の20〜30ステップから1ステップに短縮され、コストも30倍以上削減されました。一連の画像（フレーム間の変化を持つ一貫性のある画像群）としての動画生成というアイデアが、突然非常に現実味を帯びてきたのです。
今年初め、OpenAIはSoraのリリースを発表し、大きな注目を集めました。これはテキストから動画を生成するモデルで、最大1分間の動画を生成可能で、視覚的一貫性も確保しています。それから間もなく、Luma AIはより高速な動画モデルDream Machineを発表。120秒で120フレーム（約5秒の動画）を生成できます。Lumaは最近、わずか7週間で驚異的な1000万ユーザーを獲得したと公表しました。先月、Hedra LabsはCharacter-1をリリース。これはキャラクターに焦点を当てたマルチモーダル動画モデルで、90秒で60秒の動画を生成し、豊かな人間の感情表現やボイス付きで描きます。Runwayは最近、Gen-3 Turboをリリース。わずか15秒で10秒のクリップをレンダリングできるモデルです。
今日、志ある映像作家は、テキストプロンプトや参照画像から数分間の720p HD品質の動画コンテンツを素早く生成でき、開始・終了のキーフレームとペアリングすることで具体性を高められます。Runwayはまた、編集ツール群を開発。拡散モデルによる動画生成に対し、フレーム内カメラ制御、フレーム補間、モーションブラシなど、より精緻な操作を可能にしています。LumaやHedraも、まもなく独自のクリエイターツールキットをリリースする予定です。
制作ワークフローはまだ初期段階ですが、すでにこれらのツールを使って物語を語ろうとするコンテンツクリエイターたちに出会っています。Resemblance AIは、Luma、Midjourney、Eleven Labsを使用して、第二次世界大戦の架空史を描く3分間の『Nexus 1945』を制作しました。Uncanny HarryはHedraと協働しサイバーパンク短編を制作。他にもミュージックビデオ、予告編、旅行Vlog、さらにはファストフードのハンバーガー広告まで制作されています。2022年以降、Runwayは毎年AI映画祭を開催し、優れたAI制作短編10本を選出しています。
ただし、現時点でもいくつかの制限があることに注意が必要です。プロンプトから生成される2分間のクリップと、専門チームが制作する2時間の長編映画との間には、物語の質や制御性において明らかな差があります。プロンプトや画像からクリエイターが望む内容を正確に生成するのは困難で、経験豊富なプロンプトエンジニアであっても、生成結果の大半を破棄することが多いです。AIクリエイターのAbel Artは、1分間の一貫した動画を生成するのに約500本の動画が必要だと報告しています。画像の一貫性は連続再生1〜2分後には通常崩れ始め、手動編集が必要になるため、今日の生成動画の多くは約1分程度に制限されています。
ほとんどのハリウッド大手スタジオにとって、拡散モデルによる動画はプリプロダクション中のストーリーボード用途——シーンやキャラのビジュアル化——には使えても、実際の撮影を代替できるものではありません。ポストプロダクションではAIによる音声・VFX処理の利用の余地がありますが、全体として見れば、AIクリエイターツールは数十年にわたる投資を経た従来のワークフローに比べ、まだ初期段階です。
短期的には、生成動画の最大のチャンスの一つが、インタラクティブ・ビデオや短編といった新しいメディアフォーマットの開拓にあると考えます。インタラクティブ・ビデオは、プレイヤーの選択に応じて1〜2分の短いクリップに分割されることが多く、アニメやスタイライズされた形式が多く、低解像度素材でも問題ありません。さらに重要なのは、拡散モデルでこのような短編を制作するコストが、テルテイル／バンダースナッチ時代よりもはるかに有利だということです。Abel Artによると、Lumaで1分の動画を生成するコストは125ドルで、映画用レンズを1日借りる費用と同等です。
今日の生成動画の品質が一貫していないとしても、ReelShortやDramaBoxのような縦型ショート動画の流行は、低制作費のドラマ短編に対する視聴者の需要を示しています。批評家からは「写真が素人っぽく、脚本が公式化されている」と批判されても、ReelShortは3000万回以上のダウンロードと月1000万ドル以上の収益を上げており、『禁断の欲望：アルファの愛』など数千のミニシリーズを公開しています。
インタラクティブ・ビデオが直面する最大の技術的障壁は、リアルタイム生成に必要な十分な高速なフレーム生成速度の確保です。Dream Machineは現在、1秒あたり約1フレームを生成します。現代のゲーム機が最低限求める安定した30FPSには程遠く、60FPSがゴールドスタンダードです。PABなどの技術を用いれば、特定の動画種類では10〜20FPSまで引き上げられますが、それでもまだ不十分です。
現状：インタラクティブ・ビデオのエコシステム
我々が目にする基礎ハードウェアとモデルの改善スピードを考えると、商業的に実用可能な完全生成型インタラクティブ・ビデオまでは、あと約2年と見積もっています。
現在、Microsoft ResearchやOpenAIなどは、インタラクティブ・ビデオ向けエンドツーエンドの基礎モデルの研究で進展を見せています。Microsoftのモデルは、完全な「プレイ可能な世界」を生成する三次元環境を目指しています。OpenAIはSoraのデモで「ゼロショット」でのMinecraft模倣を示しました。「SoraはMinecraft内のプレイヤーの行動を制御し、世界とそのダイナミクスを高忠実度でレンダリングできます。」
2024年2月、Google DeepMindは自らのエンドツーエンド型インタラクティブ・ビデオ基礎モデルGenieをリリースしました。Genieの特徴は、一対の動画フレーム間の潜在的な動作を推定する潜在動作モデルにあります。30万時間のプラットフォーム動画で学習したGenieは、障害物を乗り越える方法など、キャラの動作を認識するようになっています。この潜在動作モデルは、動画トークナイザーと組み合わされ、動的モデルに入力され、次のフレームを予測することでインタラクティブ・ビデオを構築します。
アプリケーション層では、すでに新しいインタラクティブ・ビデオ体験を模索するチームが複数存在します。多くの企業が、現行モデルの制約に合わせて設計されたジェネレーティブ映画・テレビ番組の制作に取り組んでいます。また、AIネイティブゲームエンジンに動画要素を統合するチームも見られます。
IlumineのLatensは、「清醒夢シミュレーター」を開発中で、ユーザーが夢の中を歩く際にリアルタイムで映像を生成します。このわずかな遅延がシュールな体験を演出します。オープンソースコミュニティDeforumの開発者たちは、現実世界の装置として没入型インタラクティブ・ビデオを作成しています。Dynamicはシミュレーションエンジンを開発中で、ユーザーが第一人称視点でロボットを制御し、完全生成動画を体験できます。
テレビ・映画分野では、Fable StudioがShowrunnerを開発中。これはAIストリーミングサービスで、ファンが人気番組の自分なりのバージョンを作れます。Fableのコンセプト実証プロジェクト『サウスパークAI』は昨夏初公開で800万回の視聴を記録しました。Solo TwinやUncanny Harryは最先端のAI映画制作スタジオです。AlterverseはD&Dに着想を得たインタラクティブ・ビデオRPGを作成。次に何が起こるかはコミュニティが決定します。Late Night Labsは新設のトップクラス映画制作会社で、創作プロセスにAIを統合します。Odysseyは4つの生成モデルで駆動されるビジュアル・ナラティブ・プラットフォームを開発中です。
映画とゲームの境界が曖昧になるにつれ、クリエイターにより多くの制御権を与えるAIネイティブなゲームエンジンやツールが登場するでしょう。Series AIはRho Engineを開発。これはAIゲーム開発のためのエンドツーエンドプラットフォームで、主要IP所有者と共同でオリジナル作品を開発しています。また、Rosebud AI、Astrocade、Videogame AIなどもAI創作キットをリリース。初心者でもプログラミングやアートの知識がなくても、インタラクティブ体験の制作をすぐに始められます。
こうした新しいAI創作キットは、物語創作の市場機会を創出するでしょう。プロンプトエンジニアリング、ビジュ
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
a16z
