OpenAIに「アカウント停止」された字節跳動、その真の狙いとは？
TechFlow厳選深潮セレクト
OpenAIに「アカウント停止」された字節跳動、その真の狙いとは？
高品質なコーパスデータは、大規模モデルにとっての「お宝」である。
Web3業界の深掘り報道に専念し潮流を洞察執筆：挙大名耳
2023年ももう終わりかと思われた矢先、年末にまた大きなスクープが飛び出した。
最近、「The Verge」の報道によると、
字節跳動（バイテッド）は、自社の大規模モデル開発のためにChatGPTのAPIを利用したため、OpenAIからアカウントを「停止」されたという。
その後、字節跳動は「テスト目的での利用にすぎず、すでに中止している」と説明したものの、
それでもやはり、いろいろと想像を掻き立てられる出来事である……。
字節跳動がアカウント停止された裏には、一体どんな思惑があったのか？
1 字節跳動は何を欲していたのか？
「The Verge」の報道では、字節跳動がOpenAIのAPIをどのように自社大規模モデルの開発に使ったかは明言されていないが、一般的な大規模モデル同士の訓練方法にはいくつかのパターンがある。
その一つが、「師匠が弟子を教える」方式だ。
例えば、既存の大規模モデル（師匠）がさまざまなタスクを処理する際に生成する出力（テキストや画像など）を、新しいモデル（弟子）が観察し、それを模倣して学習する。
この方法により、弟子モデルは類似のタスクを処理する能力を身につけることができる。実際には、新しいモデルが古いモデルが生成したデータを学習することで実現される。
もう一つの方法は、「師匠」と「弟子」が共同でタスクを処理する協調学習だ。
実際には、両方のモデルが一部の層やパラメータを共有することで相互に学習し合い、共にタスクを達成していく。
技術的妥当性から見ると、今回のケースでは、おそらく前者の方法、つまりOpenAIのAPIが出力したデータを訓練データとして利用した可能性が高い。
したがって、今回の騒動で字節跳動が真に求めたのは、ChatGPTが生成する高品質な言語データだったと言える。
このようなデータは、どの大規模モデルの開発チームにとっても最も魅力的な「ごちそう」である。
しかし、OpenAIの利用規約では以前から、自社のモデルを使って競合製品を開発することを禁止しており、そのため字節跳動がアカウント停止されたのも当然の結果だった。
問題は、字節跳動のような大手企業であれば、データ収集や言語データのラベリング作業を行う人材や資金には事欠かないはずなのに、なぜあえてこのようなリスクを冒したのかということだ。
2 なぜリスクを取ったのか？
実は、現在の大規模モデル競争において、字節跳動が不足しているのは人材でも資金でもなく、「時間」なのである。
百度や訊飛といった国内の大手企業と比べて、字節跳動が大規模モデル分野に本格参入したのはかなり遅かった。
タイムラインで見ると、字節跳動が初めて大規模モデル「豆包（ドウバオ）」をリリースしたのは今年8月中旬であり、その頃には大規模モデルブームがすでに半年近く続いていた。
大規模モデル市場に本気で参入しようとするプレイヤーなら誰もが知っているように、この分野における競争には「時間窓」がある。
先行して市場に入った企業は、より多くのユーザー・データ・経験を蓄積でき、それが競争優位につながる。後発企業が追いつくには、はるかに大きな努力とコストが必要となる。
8月にリリースされた豆包によって、字節跳動はようやくモデル層への参加を果たしたが、性能やポジショニングの面から見れば、それはむしろ「試し」的な作品であり、同社の既存サービスと十分に統合できているとは言えなかった。
モバイルインターネット時代にTikTokのようなヒットアプリを生み出してきた大手企業として、字節跳動が本当に求めていたのは、文心一言のように汎用性が高く多機能で、自社の各種アプリに統合・埋め込み可能な大規模モデルだったのである。
そこで登場したのが、後に発表された字節跳動の「シード計画」である。今年末までに、GPT-3.5と同等の性能を持つ大規模モデル「Seed」を開発するという目標だ。
だが、大規模モデルの訓練は一朝一夕にはいかない。
データのラベリング、高品質な言語素材の抽出など、煩雑な前処理作業には時間がかかる。
限られた、しかも厳しい時間の中で、どうやって十分な量の高品質な言語データを集めるのか？
もっとも確実な方法は、すでに検証済みで成熟度の高いモデルのデータ、たとえばChatGPTのデータを直接使うことだ。
3 モデル層の時間窓
実は字節跳動だけでなく、トップレベルのAI企業であるGoogleですら、「急いで成果を出したい」という思いから、同様の行動に出たことがある。
今月はじめ、Googleは期待を込めて開発した大規模モデルGeminiが、非英語のクエリに対応できない問題からリリース延期を発表した。
だが数日後、まさかの展開。12月6日、Googleは改めてGeminiを正式リリースし、さきほど指摘された「欠陥」はすでに解決されているかのように見えた。
その後、ネットユーザーたちがテストしたところ、どうやらGoogleは前に百度の文心一言から「解決策」を得ていたことが判明したのだ。
微博の著名ユーザー@闌夕夜など多数のネットユーザーによるテストで、Gemini-Proに中国語で「あなたは誰ですか？」と尋ねると、「私は百度文心大模型です」と返答した。
こうした状況から、Googleが文心一言の中国語データをそのまま訓練に使ったのではないかと疑われている。
GPT-4を追い抜くために、Googleも焦りを見せたわけだ。
しかし長期的には、大手企業同士が互いのデータを流用するような行為は、一時的な現象にすぎない。
何度かこうした「失敗」を経験すれば、各社とも自社データの管理をさらに厳重にするだろう。
とはいえ、こうしたデータの相互流用は、ユーザーや投資家の間で次のような疑念を抱かせる。「もし技術的に簡単に他社のデータを使えるなら、将来ChatGPTなどのトップモデル以外に、本当に独自性のあるモデルが残るのだろうか？」
こうした懸念の背後には、さらに重要な前提がある。
なぜこれほど似通った大規模モデルが必要なのか？
そもそも人類の言語データは有限であり、トップチーム（例：ChatGPT）がすでに大部分を獲得している。残された専有データも、すでに各垂直領域で分配され尽くしている。
モデル層の起業が終盤を迎えつつある今日、データ以上に差を生むのは、異なる重点を持つ訓練手法と、それに基づいて構築された多様な機能である。
そして、ユーザーがこうした「データ流用」を容認できるかどうかは、まさにそこにかかっている。
この点で、GoogleのGeminiは「より強力なネイティブマルチモーダル機能」（やや誇張気味）を提示した。
一方、字節跳動のSeed大規模モデルが将来的に逆転し、ユーザーの信頼を得られるかどうかは、「一美にして百醜を覆う」ような目玉機能を持てるかどうかにかかっている。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
