シーケュアキャピタル大規模言語モデルのディープダイブ：企業がAIアプリケーションを現実のものとする方法
TechFlow厳選深潮セレクト
シーケュアキャピタル大規模言語モデルのディープダイブ：企業がAIアプリケーションを現実のものとする方法
この分析は、投資家や起業家、企業の経営者にとって極めて注目に値するものである。
Web3業界の深掘り報道に専念し潮流を洞察
Sequoia Capitalは、世界をリードするベンチャーキャピタルの一つとして、卓越した投資眼と豊富な業界経験により、テクノロジー革新の最前線で常に潮流を牽引してきました。最近、Sequoia Capitalは大規模言語モデル（LLMs）に関するディープアナリシスを発表しました。この分析では、LLMsが企業のイノベーションをどう推進し、新たな技術スタックを生み出し、オープンソースとカスタムモデル訓練のトレンドが融合しつつあるかについて考察しています。
この分析は、投資家、企業経営者、起業家にとって極めて注目に値します。投資家にとっては、将来急速に成長する可能性のある産業や特定の技術分野が明らかになります。企業経営者や起業家にとっては、LLMsの台頭とそのカスタマイズ化のトレンドが示されており、自然言語インタラクションを通じて製品をどのように革新できるかを考える上で、まったく新しい視点を提供してくれます。
以下は、私たちのスーパーAIチューターChatGPTによる要約と全文翻訳です：
要約：
大規模言語モデル（LLMs）によるイノベーション：ChatGPTのようなLLMsは、マーケティングから法律、検索に至るさまざまな業界でイノベーションを促進しており、ますます多くの企業が自然言語インタラクションを自社の製品に統合しています。
新たな技術スタックの出現：これらのアプリケーションには、言語モデルAPI、検索機構、LangChainのようなオーケストレーションフレームワークを含む新しい技術スタックがあります。また、オープンソースの利用やカスタムモデルの訓練の傾向も高まっており、企業は自社のニーズに応じたモデルのカスタマイズを強く望んでいます。
LLMsのカスタマイズ化：企業は、ゼロからカスタムモデルを訓練する、ベースモデルをファインチューニングする、または事前訓練済みモデルを使用して関連コンテキストを検索することで、LLMsをカスタマイズしています。このカスタマイズにより、自社データに基づいた自然言語インタラクションがより具体的かつ関連性の高いものになります。
技術スタックの融合：時間の経過とともに、LLM API技術スタックとカスタムモデル訓練技術スタックは統合されると予想されます。企業が自社モデルの訓練やファインチューニングに関心を持つようになるにつれ、この融合は言語モデルアプリケーションにさらに大きな柔軟性と適応性をもたらすでしょう。
開発者フレンドリー性の向上：LangChainのようなツールのおかげで、技術スタックは機械学習チームだけでなく一般の開発者にとっても使いやすくなってきています。このようなツールは、共通の課題の解決を支援し、ベンダーロックインを回避し、より包括的で多様な開発者コミュニティの形成を促進します。
全文翻訳：
企業がAIアプリケーションを現実にする方法
ChatGPTは巨大なイノベーションの波を引き起こし、大規模言語モデル（LLMs）の発展を加速させました。ますます多くの企業が、自然言語インタラクションの強力な機能を自社の製品に取り入れ始めています。言語モデルAPIの採用は、その後続として新たな技術スタック革命を巻き起こしています。人々が構築しているアプリケーションとそれらが使用している技術スタックをより深く理解するために、私たちはSequoiaネットワークに属する33社の企業と対話しました。これらには初期段階のスタートアップから上場企業まで含まれます。私たちは2か月前に彼らと話し、先週もう一度やり取りを行い、この分野の急速な変化のスピードを完全に捉えることを目指しました。
多くの創業者や開発者が自らのAI戦略を模索している中、この分野が急速に進化しているにもかかわらず、私たちの知見を共有したいと思います。
1. Sequoiaネットワークのほぼすべての企業が言語モデルを製品に統合している
私たちは、Sourcegraph、Warp、GitHubなどでの驚くべきコード自動補完機能や、Hexのようなデータサイエンスにおける自動補完を見ました。顧客サポートや従業員サポートだけでなく、消費者向けエンターテインメントにも活用される、より優れたチャットボットも登場しています。
他の企業はAIを主軸として、ビジュアルアート（Midjourneyなど）、マーケティング（Hubspot、Attentive、Drift、Jasper、Copy、Writerなど）、セールス（Gongなど）、コールセンター（Crestaなど）、法務（Ironclad、Harveyなど）、会計（Pilotなど）、生産性ツール（Notionなど）、データエンジニアリング（dbtなど）、検索（Glean、Neevaなど）、食料品購入（Instacartなど）、消費者向け決済（Klarnaなど）、旅行プランニング（Airbnbなど）に至るまで、全体のワークフローを再設計しています。これらは一部の例にすぎず、まだ始まったばかりです。
2. これらのアプリケーションの新しい技術スタックは、主に言語モデルAPI、検索、オーケストレーションに集中しているが、オープンソースの利用も増加中
-
調査対象の企業のうち65%がすでにプロダクション環境への展開を行っており、これは2か月前の50%から増加しています。残りは試験段階にあります。
-
94%の企業が基礎モデルAPIを利用しています。調査対象では、OpenAIのGPTが圧倒的に人気で91%を占めていますが、過去四半期でAnthropicへの関心が大きく高まり、15%に達しています（複数のモデルを併用する企業もあります）。
-
88%の企業が、検索機構（ベクトルデータベースなど）が今後も技術スタックの重要な部分であり続けると考えています。モデルに適切なコンテキスト情報を提供することで、出力品質の向上、「ハルシネーション」（不正確さ）の低減、データの鮮度問題の解決が可能になります。一部の企業はPinecone、Weaviate、Chroma、Qdrant、Milvusなどのカスタムベクトルデータベースを使用し、他はpgvectorやAWSの関連製品を利用しています。
-
38%の企業が、LangChainのようなLLMオーケストレーションおよびアプリケーション開発フレームワークに注目しています。一部はプロトタイピングに使用し、他の企業は本番環境でも活用しています。ここ数ヶ月で導入率は増加しています。
-
LLMの出力、コスト、パフォーマンスのモニタリングやA/Bテストを行うツールを探している企業は10%未満です。しかし、より多くの大企業や規制産業が言語モデルを採用するにつれて、これらの分野への関心も高まるでしょう。
-
少数の企業が、生成されたテキストと音声を組み合わせるような、相補的な生成技術の研究を進めています。これも非常に有望な成長領域だと考えています。
-
15%の企業が、ゼロから、あるいはオープンソース技術を使ってカスタム言語モデルを構築しており、多くの場合LLM APIの利用と並行しています。数ヶ月前からカスタムモデルの訓練の導入が顕著に増加しています。これにはHugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scaleといった企業が提供する計算資源、モデルライブラリ、ホスティングサービス、訓練フレームワーク、実験追跡ツールなどを活用した独自の技術スタックが必要です。
各実務担当者との対話を通じて、AIの進化スピードが非常に速く、最終的な技術スタックに対する確信はまだ十分ではないものの、LLM APIが今後も中心的な支柱であり続けること、それに次いで検索機構やLangChainのような開発フレームワークが重要であることに一致しています。また、オープンソースとカスタムモデルの訓練・調整も徐々に増加しています。その他の技術スタック分野も重要ですが、成熟度はやや遅れています。
3. 企業は自社のユニークな環境に合わせて言語モデルをカスタマイズしたいと考えている
汎用言語モデルは強力ですが、多くの用途において特定のニーズを区別したり満たしたりすることはできません。企業は、開発者ドキュメント、製品在庫、人事・ITルールなどの自社データ上で自然言語インタラクションを実現したいと考えています。場合によっては、個人のメモ、デザインレイアウト、データ指標、コードベースなど、ユーザー自身のデータに基づいてモデルをカスタマイズすることを望んでいます。
現在、言語モデルをカスタマイズする主な方法は以下の3つあります（より詳細な技術的説明については、Andrej氏がMicrosoft Buildで行った「GPTの現状」の講演を参照）：
-
ゼロからカスタムモデルを訓練する：最も難易度が高い方法です。これが古典的かつ最も困難なアプローチです。通常、高度なスキルを持つ機械学習科学者、大量の関連データ、訓練インフラ、計算リソースが必要です。そのため、自然言語処理の革新がこれまで大型テック企業に集中していた理由の一つでもあります。BloombergGPTは、大手テック企業の支援なしにHugging Faceやその他のオープンソースツールを活用して行われたカスタムモデルプロジェクトの好例です。オープンソースツールの改善と、より多くの企業によるLLMの革新的な利用が進むにつれ、カスタムおよび事前訓練済みモデルの利用がさらに増えると予想されます。
-
ベースモデルをファインチューニングする：難易度は中程度。事前訓練済みモデルの重みを、さらに専有データやドメイン特化データを使って更新する方法です。オープンソースの革新により、この方法も実行しやすくなっていますが、依然としてハイレベルなチームが必要なことが多いです。一部の実務家は内密に、ファインチューニングは思っている以上に難しく、モデルのドリフトや警告なしに他の能力を「破壊」してしまうなどの予期しない副作用があると認めています。この方法は将来的により一般的になる可能性がありますが、現時点では大多数の企業にとって依然として難しいのが現状です。ただし、状況は急速に変化しています。
-
事前訓練済みモデルを使い、関連コンテキストを検索する：難易度が最も低い方法です。多くの人は自分専用にファインチューニングされたモデルが必要だと思っていますが、実際には適切なタイミングで自分の情報をモデルに認識させたいだけなのです。適切なタイミングでモデルに正しい情報を提供する方法はいくつかあります：SQLデータベースへの構造化クエリ、製品カタログ内の検索、外部APIの呼び出し、または埋め込み検索の利用などです。埋め込み検索の利点は、非構造化データを自然言語で簡単に検索できることにあります。技術的には、データを埋め込みベクトルに変換し、ベクトルデータベースに保存することで実現します。クエリが発生すると、これらのベクトル埋め込みを検索して最も関連性の高いコンテキストを見つけ出し、モデルに提供します。この方法はモデルの限られたコンテキストウィンドウを突破でき、コストが低く、データの新鮮度問題（例：ChatGPTは2021年9月以降の出来事を知らない）を解決でき、正式な機械学習教育を受けない単独の開発者でも実施可能です。ベクトルデータベースは、大規模な場合にベクトル埋め込みの保存、検索、更新を容易にするため有用です。現時点では、大企業は企業クラウド契約に依存し、クラウドプロバイダー提供のツールを使う傾向があり、一方スタートアップは専用のベクトルデータベースを好む傾向があります。しかし、この分野は非常に急速に変化しています。コンテキストウィンドウはますます大きくなりつつあり（OpenAIは最近16Kに拡張、Anthropicは10万トークンのコンテキストウィンドウを発表）、基礎モデルやクラウドデータベースが検索機能を直接サービスに組み込む可能性もあります。市場の動向を注視しています。
4. 現在、LLM APIの技術スタックとカスタムモデル訓練の技術スタックは独立しているように感じられるが、時間の経過とともに融合していく
一見すると、二つの技術スタックがあるように思えるかもしれません。一方はLLM APIを利用するスタック（よりクローズドソース志向で開発者向け）、もう一方はカスタム言語モデルを訓練するスタック（オープンソース志向で、かつては複雑な機械学習チームに限定されていた）です。
LLMがAPI経由で簡単に利用できるようになったことで、企業は自社でのカスタム訓練を減らすのではないかという疑問もあります。しかし、今のところその逆が起きています。AIへの関心の高まりとオープンソース開発の加速に伴い、多くの企業が自社モデルの訓練やファインチューニングに強い関心を持っています。
我々は、時間の経過とともに、LLM APIとカスタムモデルの技術スタックが徐々に融合していくと考えます。例えば、ある企業がオープンソースを使って自社の言語モデルを訓練しつつ、ベクトルデータベースによる検索でデータの新鮮度問題を解決するようなケースです。また、カスタムモデル向け技術スタックを開発するスマートなスタートアップも、自社製品をLLM API革命とより関連性の高いものにするために拡張しています。
5. この技術スタックはますます開発者にとって使いやすくなっている
言語モデルAPIのおかげで、強力な既製モデルが機械学習チームだけでなく一般の開発者にも利用可能になりました。現在、言語モデルを扱う開発者の層は大きく広がっており、すべての開発者に及んでいます。今後、さらに開発者向けツールが増えると予想されます。
たとえば、LangChainは共通の課題を抽象化することで、開発者がLLMアプリケーションを構築しやすくしています。モデルをより高度なシステムに組み合わせたり、複数のモデル呼び出しを連鎖させたり、モデルをツールやデータソースと接続したり、それらのツールを操作できるエージェントを構築したり、言語モデルの切り替えを簡素化してベンダーロックインを回避したりするのを支援しています。一部の企業はプロトタイプ作成にLangChainを使い、他の企業は本番環境でも継続して利用しています。
6. 全面的な採用には、言語モデルがさらに信頼できるものになる必要がある（出力品質、データプライバシー、セキュリティを含む）
多くの企業は、LLMをアプリケーションに完全に統合する前に、データプライバシー、分離、セキュリティ、著作権、モデル出力のモニタリングを処理するためのより優れたツールを求めています。フィンテックからヘルスケアに至る規制産業では特にこの点が重視されており、これを解決するソフトウェアソリューションを見つけるのは難しいと述べています（これは潜在的な起業分野です）。理想としては、誤った情報、虚偽、差別的、危険なコンテンツの生成を警告（あるいは防止）してくれるソフトウェアがあるべきです。
また、モデルと共有したデータが訓練に使われる方式について懸念を抱く企業もあります。たとえば、ChatGPT Consumerのデータはデフォルトで訓練に使われますが、ChatGPT BusinessおよびAPIのデータは訓練に使われないことはあまり知られていません。ポリシーが明確になり、より多くの保護措置が整備されれば、言語モデルはさらに信頼できるものとなり、採用率のさらなる飛躍が見込まれます。
7. 言語モデルアプリケーションはますますマルチモーダル化していく
企業は、複数の生成モデルを組み合わせて優れた効果を生み出す興味深い方法をすでに発見しています。テキストと音声生成を組み合わせたチャットボットは、対話体験にまったく新しい次元をもたらします。テキストと音声モデルを組み合わせれば、ビデオ録画の間違いを再録せずにすばやく修正することもできます。
モデル自体もますますマルチモーダルになっています。将来的には、テキスト、音声／オーディオ、画像／動画生成を組み合わせた、魅力的な消費者および企業向けAIアプリケーションが登場し、より没入感のあるユーザーエクスペリエンスを提供し、より複雑なタスクを実行できるようになるでしょう。
8. まだ初期段階にある
AIはまだテクノロジーのあらゆる側面に浸透し始めたばかりです。調査では、65%の企業しか本番環境に投入しておらず、その多くは比較的シンプルなアプリケーションです。さらに多くの企業がLLMアプリケーションをリリースするにつれ、新たな障壁が現れ、創業者たちに新たな機会をもたらすでしょう。今後数年間、インフラ層は急速に進化し続けるでしょう。
もし私たちが見たデモの半分でもうまく製品化されれば、非常に刺激的な旅が始まります。私たちが最初期のArc投資からZoomのような企業まで、AIを使ってユーザーを満足させることに集中している創業者たちの姿を見るのは、本当に素晴らしいことです。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
