紅杉資本/Sequoia Capital，作為全球領先的風險投資公司之一，憑藉其卓越的投資眼光和豐富的行業經驗，一直在科技創新的前沿引領著潮流。近日，紅杉資本發佈了一篇關於大型語言模型（LLMs）的深度分析，這篇文章探討了LLMs如何引領企業創新、催生新的技術棧、並逐漸融合開源和自定義模型訓練的趨勢。

這篇分析對於投資者、企業家和創業者來說都是極其值得關注的。對於投資者，它揭示了哪些行業和具體技術可能在未來經歷快速增長。對於企業家和創業者，這篇分析揭示了LLMs的崛起及其定製化的趨勢，這將為他們提供一個全新的視角去思考如何通過自然語言交互來創新他們的產品。

下面是我們的超級助教ChatGPT做的摘要和全文翻譯：

摘要：

大型語言模型（LLMs）的創新：像ChatGPT這樣的LLMs在各個行業中催生了創新，從營銷到法律到搜索，越來越多的公司將自然語言交互集成到他們的產品中。

新技術堆棧的出現：這些應用的新技術堆棧包括語言模型API、檢索機制和像LangChain這樣的編排框架。開源和自定義模型訓練的趨勢日益增長，公司越來越渴望根據自身需要定製模型。

對LLMs的定製化：公司通過從零開始訓練自定義模型、微調基礎模型，或使用預訓練模型並檢索相關語境來實現對LLMs的定製化。這種定製化使得基於其數據的自然語言交互更加具體和相關。

技術堆棧的融合：LLM API技術堆棧和自定義模型訓練技術堆棧預計會隨著時間的推移合併，因為公司對訓練和微調自己的模型越來越感興趣。這種融合預計將為語言模型應用提供更大的靈活性和適應性。

開發者友好性的提高：像LangChain這樣的工具使得技術堆棧對於普通開發人員而言越來越易於使用，而不僅僅是機器學習團隊。這樣的工具幫助開發人員解決常見問題，避免供應商鎖定，促進了一個更包容和多樣化的開發者社區。

全文翻譯：

企業如何讓人工智能應用變為現實

ChatGPT釋放了一股巨大的創新浪潮，帶動了大型語言模型（LLMs）的發展。越來越多的企業正在將自然語言交互的強大功能引入他們的產品中。語言模型API的採用在其後掀起了一場新的技術堆疊革命。為了更好地瞭解人們正在構建的應用以及他們所使用的技術堆棧，我們與Sequoia網絡中的33家公司進行了交流，這些公司既有初創階段的初創企業，也有規模龐大的上市企業。我們在兩個月前與他們進行了對話，以及在上週再次交流，以充分捕捉這個領域迅速變化的步伐。

由於許多創始人和開發者正在摸索他們自己的人工智能戰略，我們希望分享我們的發現，即便這個領域正在快速發展變化。

1. 幾乎Sequoia網絡中的每家公司都在將語言模型集成到其產品中

我們已經看到了神奇的代碼自動完成功能（如Sourcegraph、Warp、Github），以及數據科學（如Hex）的自動完成功能。我們見證了更出色的聊天機器人，不僅用於客戶支持、員工支持，還應用於消費者娛樂。

其他公司以AI為先導，重新構想了整個工作流程，涵蓋視覺藝術（如Midjourney）、營銷（如Hubspot、Attentive、Drift、Jasper、Copy、Writer）、銷售（如Gong）、聯繫中心（如Cresta）、法律（如Ironclad、Harvey）、會計（如Pilot）、生產力工具（如Notion）、數據工程（如dbt）、搜索（如Glean、Neeva）、雜貨購物（如Instacart）、消費支付（如Klarna）和旅行規劃（如Airbnb）。這些只是一些例子，而且它們只是個開始。

2. 這些應用程序的新技術堆棧主要集中在語言模型API、檢索和編排上，但開源使用也在不斷增長

• 在我們的樣本中，65%的企業正在進行應用的生產部署，相比兩個月前的50%有所增長，其餘仍在試驗階段。

• 94%的企業正在使用基礎模型API。在我們的樣本中，OpenAI的GPT明顯是最受歡迎的，佔據了91%的比例，然而Anthropic在過去的一個季度中表現出了較大的興趣，達到了15%（某些公司同時使用多個模型）。

• 88%的企業認為，檢索機制（如向量數據庫）將繼續成為他們技術堆棧中的關鍵部分。通過為模型提供相關的語境信息，有助於提高結果的質量，減少“錯覺”（不準確性），並解決數據新鮮度的問題。有些企業使用定製的向量數據庫（如Pinecone、Weaviate、Chroma、Qdrant、Milvus等），而其他企業使用pgvector或AWS的相關產品。

• 38%的企業對像LangChain這樣的LLM編排和應用開發框架表示關注。一些企業將其用於原型設計，而其他企業則將其應用於實際生產中。在過去幾個月中，採用率有所增加。

• 少於10%的企業正在尋找用於監控LLM輸出、成本或性能以及進行A/B測試的工具。隨著更多大型企業和受監管行業採用語言模型，我們認為在這些領域的興趣可能會增加。

• 少數幾家企業正在研究互補的生成技術，比如將生成文本和語音相結合。我們也相信這是一個令人興奮的增長領域。

• 15%的企業正在從零開始或使用開源技術構建自定義語言模型，通常是在同時使用LLM API的基礎上進行。幾個月前，自定義模型訓練的採用率有了顯著增長。這需要使用其它備受歡迎的公司如Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等提供的計算資源、模型庫、託管服務、訓練框架和實驗跟蹤等自己的技術堆棧。

我們與每位從業者交談後發現，人工智能的發展速度太快，人們對最終技術堆棧的信心尚不足夠高，但大家一致認為LLM API將始終是關鍵支柱，其次是檢索機制和像LangChain這樣的開發框架。開源和自定義模型的訓練和調優似乎也在逐漸增長。技術堆棧的其他領域也很重要，但在成熟度上較為靠前。

3. 企業希望根據其獨特的環境來定製語言模型。

通用語言模型雖然功能強大，但對許多應用場景來說，並不能區分和滿足其需求。企業希望能夠在其數據上實現自然語言交互，例如開發者文檔、產品庫存、人力資源或信息技術規則等等。在某些情況下，企業還希望根據用戶的數據來自定義模型，例如個人筆記、設計佈局、數據指標或代碼庫。

目前，有三種主要的方法來定製語言模型（關於更深入的技術解釋，可以參考Andrej最近在Microsoft Build上的《GPT現狀》演講）：

• 從零開始訓練一個自定義模型。難度最高。這是解決這個問題的經典且最困難的方法。通常需要高技能的機器學習科學家、大量相關數據、訓練基礎設施和計算資源。這也是為什麼在歷史上，自然語言處理的創新主要發生在大型科技公司的一個重要原因。BloombergGPT就是一個很好的例子，它是在沒有大型科技公司的支持下進行的自定義模型項目，利用了Hugging Face和其他開源工具的資源。隨著開源工具的改進和更多公司創新使用LLM，我們預計會看到更多自定義和預訓練模型的使用。

• 對基礎模型進行微調。難度適中。這是通過使用進一步的專有數據或領域特定數據，更新預訓練模型的權重。開源創新也使這種方法越來越易於實現，但它仍然通常需要一支高水平的團隊。一些從業者私下承認，微調比聽起來更加困難，並且可能會產生一些意想不到的後果，如模型漂移和在沒有警告的情況下“破壞”模型的其他技能。雖然這種方法更有可能變得更常見，但目前對大多數公司來說仍然難以實現。不過，這也在快速變化中。

• 使用預訓練模型並檢索相關語境。難度最低。人們通常認為他們需要一個專門為他們進行微調的模型，但實際上他們只是希望模型在合適的時間對他們的信息進行推理。有很多方法可以在合適的時間為模型提供正確的信息：向SQL數據庫發起結構化查詢、在產品目錄中進行搜索、調用某些外部API或使用嵌入式檢索。嵌入式檢索的好處在於可以使用自然語言輕鬆地搜索非結構化數據。從技術上講，這是通過將數據轉化為嵌入式向量，並將其存儲在向量數據庫中來實現的。當查詢發生時，搜索這些向量嵌入以找到最相關的語境，並提供給模型。這種方法有助於突破模型的有限上下文窗口，成本較低，解決了數據新鮮度的問題（例如，ChatGPT不知道2021年9月之後的世界），並且可以由一個單獨的開發者在沒有正式機器學習培訓的情況下完成。向量數據庫很有用，因為在大規模情況下，它使存儲、搜索和更新嵌入式向量更加容易。到目前為止，我們觀察到較大型公司仍然依靠其企業雲協議，並使用雲供應商提供的工具，而初創公司則傾向於使用專門構建的向量數據庫。然而，這個領域變化非常迅速。上下文窗口正變得越來越大（剛剛，OpenAI擴展到了16K，Anthropic推出了一個擁有10萬個標記的上下文窗口）。基礎模型和雲數據庫可能會將檢索功能直接嵌入到其服務中。我們正在密切關注這個市場的發展。

4. 目前，LLM API的技術堆棧與自定義模型訓練的技術堆棧可能感覺是相互獨立的，但隨著時間的推移，它們將逐漸融合在一起

有時候，我們可能感覺存在著兩種技術堆棧的故事：一方面是利用LLM API的技術堆棧（更側重於閉源和麵向開發人員），另一方面是訓練自定義語言模型的技術堆棧（更側重於開源和以往更為複雜的機器學習團隊）。

一些人對LLMs通過API輕鬆獲取是否意味著公司會減少自己的自定義訓練產生了疑問。然而到目前為止，情況恰好相反。隨著對人工智能的興趣增長和開源開發的加速，許多公司對訓練和微調自己的模型越來越感興趣。

我們認為隨著時間的推移，LLM API和自定義模型的技術堆棧將逐漸融合在一起。例如，一家公司可能會從開源中訓練自己的語言模型，但通過向量數據庫進行檢索以解決數據新鮮度的問題。而為自定義模型技術堆棧構建工具的智能創業公司也致力於擴展其產品，使其與LLM API的革命更加相關。

5. 這個技術堆棧正在變得越來越適合開發人員使用

語言模型API使得功能強大的現成模型可供普通開發人員使用，而不僅僅是機器學習團隊。現在，與語言模型一起工作的開發人員群體已經顯著擴大，覆蓋了所有開發人員，我們相信會看到更多以開發人員為導向的工具。

例如，LangChain通過抽象常見問題，幫助開發人員構建LLM應用程序：將模型組合成更高級的系統、將多個模型的調用鏈接在一起、將模型與工具和數據源連接起來、構建可以操作這些工具的代理，並通過簡化切換語言模型的過程，幫助避免供應商鎖定。有些人將LangChain用於原型設計，而其他人則繼續將其用於實際生產中。

6. 如果要實現全面採用，語言模型需要變得更加可靠（包括輸出質量、數據隱私和安全性）

在將LLM完全應用到他們的應用程序之前，許多公司希望擁有更好的工具來處理數據隱私、隔離、安全性、版權以及監控模型輸出。在從金融科技到醫療保健等受監管行業中，公司特別關注這一點，並表示很難找到解決此問題的軟件解決方案（這是一個有潛力的創業領域）。理想情況下，應該有軟件能夠提示（如果不是阻止）模型生成錯誤、虛幻、歧視性或者危險內容等問題。

一些公司還對與模型共享的數據用於訓練的方式表示擔憂：例如，很少有人知道ChatGPT Consumer的數據默認用於訓練，而ChatGPT Business和API數據則不用於訓練。隨著政策的明確並建立更多的防護措施，語言模型將更加可信，我們可能會見證採用率的又一次飛躍變化。

7. 語言模型應用將日益多模態化

公司們已經發現了將多個生成模型結合起來產生出色效果的有趣方式：組合文本和語音生成的聊天機器人可以帶來全新層次的對話體驗。文本和語音模型可以結合使用，幫助您快速修正視頻錄製中的錯誤，而無需重新錄製整個視頻。

模型本身也越來越多模態化。我們可以想象未來豐富的消費者和企業AI應用，將文本、語音/音頻和圖像/視頻生成結合起來，創造出更具吸引力的用戶體驗，完成更復雜的任務。

8. 現在仍處於早期階段

人工智能剛剛開始滲透到科技的方方面面。在調查中，只有65%的公司已經投入生產，而且其中許多都是相對簡單的應用。隨著越來越多的企業推出LLM應用，新的障礙將出現，為創始人帶來更多機會。未來幾年，基礎設施層將繼續快速演進。

如果我們所見到的只有一半的演示能夠順利轉化為產品，我們將迎來一個令人激動的旅程。看到從我們最早期的Arc投資到Zoom等公司的創始人都專注於同一件事情，即以人工智能來讓用戶滿意，這真是令人振奮。