a16z 的投資人與四位新銳 AI 創業公司的 CEO 們討論了 LLM 未來的發展方向。

包括：Anthropic 首席執行官 Dario Amodei；Cohere 首席執行官 Aidan Gomez；Character.AI 首席執行官 Noam Shazeer；以及 AI21 Labs 的 Yoav Shoham。

他們總結了四個核心方向：

1. 儘可能解決幻覺問題，握好方向盤

2. 用更大更精準的內存方案解決個性化問題

3. 從知識到推理到行動，教會模型使用工具

4. 多模態，讓模型具備真正通用的能力

「幻覺」難題 握緊方向盤

因為大模型還存在「幻覺」的問題，所以很多創業者對於在產品和工作流程中使用 LLM 持謹慎態度。

為了解決這個問題，聚焦模型輸出，並幫助模型更好地理解和執行復雜的用戶需求，核心的模型公司正在努力改進控制 LLM 輸出的方法，他們稱之為 steering，轉向。

Character.AI 的 CEO Shazzer 將 LLM 類比為兒童，「這是如何更好地指導模型的問題。我們需要正確的方法來告訴模型，它們要如何做到我們想做的事。小孩子也是這樣，有時候他們會編造一些事，對幻想和現實沒有確定的掌握。」

現在已經出現了一些研究成果和工具，Guardrails 和 LMQL 等，但研究仍在進行中，a16z 認為這一方向是開發者最終能更好地實現 LLM 產品化的關鍵。

對企業來說，改進 steering 非常重要。Anthropic 的創始人 & CEO Amodei 認為，LLM 的不可預測性讓人感到不安，作為 API 的提供商，他希望能對用戶說「不，模型不會那麼做」，或者至少「很少那麼做」。

通過改進 LLM 的輸出，開發者在匹配模型性能與客戶需求的問題上能獲得更多信心。

Steering 的改進也會為其他需要準確性和可靠性的行業提供幫助，比如廣告等等。

「從法律場景、醫療場景、儲蓄財務信息和管理金融風險等領域，到需要保護公司品牌的地方，在這些場景中，你肯定不希望使用的技術是不可預測或者難以預測和描述的。」

通過改進 Steering，LLM 能夠以更少的提示工程完成更加複雜的任務，因為它們將能夠更好地理解用戶的意圖。

更好地控制 LLM 的輸出，還能夠打開模型在一些敏感的 C 端應用中可能性。用戶期待獲得個性化和準確的回應。

儘管用戶與 LLM 對話或者生成一些創意內容時，他們可能會容忍不太準確的輸出，但在日常任務中，使用 LLM 協助他們為重大決策提供建議，或扮演生活教練、治療師和醫生的角色時，用戶都希望能獲得更準確的輸出。

LLM 能否真的取代搜索之類互聯網時代根深蒂固的工具和產品，也許就取決於它們是否能做好 Steering，改進輸出，建立用戶的信任。

「內存」難題 目標是個性化

上下文，context 的能力，是亟待解決的短板，它限制了「個性化」。

雖然 prompt 和 fine-tune 可以實現一定程度的個性化，但前者難以批量化，後者成本高昂，需要重新訓練，往往要和閉源 LLM 廠商緊密合作。這對於小團隊和個人用戶而言是幾乎不可能的。

上下文學習，讓 LLM 從企業內容、術語或者特定的上下文中學習的能力，是聖盃，它能創造出更精細和匹配特定需求場景的輸出。

為了解鎖上下文能力，LLM 需要更強的內存、記憶能力。

LLM 的內存包括兩個主要組成部分：上下文窗口（context windows）和檢索（retrieval）。

上下文窗口，是除了訓練數據以外，同樣「喂」給模型讓它處理並從中輸出獲得信息的文本。

檢索是從模型訓練數據的語料庫之外的數據體中，檢索和參考的相關信息和文檔（contextual data）。

目前，大多數 LLM 的上下文窗口有限，無法本地檢索其他信息，因此生成內容的個性化程度不足。但是通過更大的上下文窗口、改進檢索，LLM 可以直接提供更適合個人場景的精細輸出。

特別是通過拓展上下文窗口，模型將能夠處理更大量的文本，並更好地維持上下文能力，在對話中保持連續性。

這將進一步顯著提高模型執行一些需要深入理解和更長輸入的任務的能力，比如總結長文、在延伸的對話中生成連貫的、符合上下文的回答。

上下文能力的改進正在進程中，GPT-4 有 8k 和 32k 的上下文窗口，GPT-3.5 和 ChatGPT 只有 4k 和 16k token 的能力。

Claude 最近將上下文能力拓展到 100k token。

但僅僅拓展上下文長度並不能充分提高記憶能力，因為推理的成本和時間隨長度變化，幾乎呈線性甚至是二次方的規模增長。

檢索機制通過最相關的上下文數據來增強和完善 LLM 的原始訓練語料庫。因為 LLM 的信息通常難以更新，所以檢索有兩個好處，AI21 Labs 的創始人 Shoham 說，「首先，它允許你訪問訓練時沒有的信息來源；其次，它能夠讓模型集中在與任務相關的信息上。」

向量數據庫已經成為高效檢索相關信息的（事實上的）標準，並作為大模型的內存層，讓模型能夠更快更快更準確地搜索，引用海量信息中的正確數據。

擴展的上下文窗口和檢索機制將對企業使用場景非常寶貴，例如瀏覽大型知識存儲庫或複雜數據庫。公司將能夠更好地利用其專有數據，如內部知識、歷史客戶記錄或財務結果，作為大模型的輸入，而無需進行精細調整。

改善大模型的記憶將在培訓、報告、內部搜索、數據分析與商業智能以及客戶支持等領域帶來改進和深度定製的能力。

在消費者領域，改進的上下文窗口和檢索機制將實現強大的個性化功能，從而徹底改變用戶體驗。

Noam Shazeer 認為，「其中一個重要突破將是開發一個高記憶容量的模型，以便為每個用戶進行個性化定製，並能夠在規模上以成本效益的方式提供服務。你希望你的心理醫生了解你生活的方方面面；你希望你的老師瞭解你已經掌握的知識；你希望生活指導可以為你提供建議。它們都需要上下文。」

Aidan Gomez 對這一發展也同樣感到興奮。「通過讓模型訪問與你個人相關的數據，如電子郵件、日曆或訊息，模型將瞭解你與不同人的關係，以及你與朋友或同事交流的方式，並在這種上下文中幫助你實現最大的效用。」

從知識到行動 讓模型學會使用工具

大模型的真正力量在於讓自然語言成為行動的媒介。

大模型對常用和充分記錄的系統有著複雜的理解能力，但它們無法執行從這些系統中提取的任何信息。

例如，OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Character AI 的 Lily 可以詳細描述如何預訂航班，但它們本身無法直接預訂航班（儘管像 ChatGPT 的插件等已經開始解決這一問題）。

Amodei 說：「理論上大模型有一個大腦擁有所有這些知識，只是缺乏將具體操作指令（名稱）轉化為實際執行的步驟（按下按鈕）的映射關係。將不同的組件連接起來不需要太多訓練。大模型本身就像一個沒有實體的大腦，它對如何進行操作有著理論上的瞭解，但它還沒有實際的執行工具，就像沒有連接的手和腳一樣。」

我們已經看到各家公司不斷改進大模型使用工具的能力。像 Bing 和 Google 這樣的老牌公司以及像 Perplexity 和 You.com 這樣的初創公司引入了搜索 API。AI21 Labs 推出了 Jurassic-X，通過將模型與預定的一系列工具（包括計算器、天氣 API、維基 API 和數據庫）結合起來，解決了獨立大模型的許多缺陷。

OpenAI 推出了插件，使 ChatGPT 能夠與 Expedia、OpenTable、Wolfram、Instacart、Speak、網絡瀏覽器和代碼解釋器等工具進行交互，這一突破被比作蘋果的「App Store」時刻。最近，OpenAI 還在 GPT-3.5 和 GPT-4 中引入了函數調用功能，使開發人員能夠將 GPT 的能力與任何外部工具鏈接起來。

通過將重點從知識挖掘轉向行動導向，有潛力在各個公司和用戶類型中添加『手』和『腳』開啟一系列應用場景。

對於消費者來說，大模型可能很快就能提供食譜建議，然後訂購所需食材，或者給出一個早午餐地點建議並預訂餐桌。

對於企業來說，創始人可以通過接入大模型使他們的應用程序更易於使用。

正如 Amodei 所指出的，「對於從用戶界面角度來看非常難以使用的功能，我們可能只需用自然語言描述就能實現複雜的操作。」

例如，對於 Salesforce 等應用程序，大模型集成應該能夠讓用戶以自然語言進行更新，並使模型自動進行相應的更改，從而大大縮短了維護 CRM 所需的時間。像 Cohere 和 Adept 這樣的初創公司正在致力於將大模型集成到這些複雜工具中。

Gomez 認為，儘管在 2 年內，大模型可能會使用像 Excel 等應用，但仍然需要進行一系列的改進。

「我們將擁有第一代能夠使用工具的模型，令人遐想，但也非常敏感。最終，我們將獲得理想的系統，可以將任何軟件交給模型，並提供一些關於『這是工具的功能，這是如何使用它的』的描述，模型就能夠使用這些軟件。一旦我們能夠為大模型提供特定和通用的工具，它所釋放出的自動化能力將成為所在領域的明星產品。」

多模態 語言模型並不是真正通用的模型

雖然聊天界面對許多用戶來說非常直觀，但人們日常用語言聽，說的頻率比閱讀寫作還要高。

正如 Amodei 所指出的，「AI 系統能做的事情是有限的，因為並非所有內容都是文本」。

具備多模態特徵或能夠無縫處理和生成多種音頻或視覺格式的模型，可以將交互推向超越語言的層面。

像 GPT-4、Character.AI 和 Meta 的 ImageBind 等模型已經可以處理並生成圖像、音頻和其他模態，但它們生成的質量仍停留在非常基礎的水平上（儘管模型在不斷改進）。

如 Gomez 所說，「我們的模型在直接處理視覺信息方面還有所欠缺，這一點需要改進。我們目前已經構建了很多圖形用戶界面（GUI），但這些界面都是在用戶能夠看得見的前提下設計的。」

隨著大模型不斷進化，多模態能力將不斷強化，不論是理解還是交互，它們將能夠使用現有的 App（例如瀏覽器）這樣依賴於 GUI 的應用。它們還可以為用戶提供更加引人入勝、連接性更強、內容更全面的體驗，用戶將能夠在聊天界面之外進行交互。

Shazeer 指出：「與多模態模型的整合可以使體驗更加有趣、與用戶連接更加緊密。」他還表示：「我相信，目前大部分核心智能來自於文本，但音頻和視頻可以使體驗更加有趣。」從與 AI 導師進行視頻聊天到與 AI 合作編寫劇本，多模態技術具有改變娛樂、學習與發展以及內容生成的潛力，適用於各種消費者和企業應用場景。

多模態也與工具使用密切相關。雖然大模型最初通過 API 與外部軟件連接，但多模態將使大模型能夠使用為人類設計的工具，而這些工具沒有定製化的集成，比如傳統的企業資源規劃（ERP）系統、桌面應用程序、醫療設備或製造機械。

在這方面，我們已經看到了令人振奮的發展成果：例如，谷歌的 Med-PaLM-2 模型可以合成乳腺 X 光和 X 光片。而且從長遠來看，多模態，特別是與計算機視覺的整合，可以通過機器人、自動駕駛和其他需要與物理世界實時交互的應用程序將大模型擴展到物理現實中。

雖然大模型存在一些侷限性，但研究人員在短時間內對這些模型進行了令人驚歎的改進——實際上，自從撰寫本文以來，我們不得不多次更新文章，這證明了這項技術在快速進步。

Gomez 也表示同意：「大模型在 20 次中有 1 次捏造事實的概率顯然太高。但我非常有信心，因為這是我們第一次構建這樣的系統。人們的期望值相當高，因此目標已經從『計算機愚蠢到只能執行數學運算』提高到『像人一樣做得更好』。我們已經成功縮小了人機之間的差距，以至於現在的批評集中在計算機能否達到人類水平。」

我們對以下 4 項創新尤為興奮，它們即將改變創業者構建產品和經營公司的方式。從長遠來看，潛力更加巨大。

Amodei 預測：「在某個時刻，我們可能會擁有一個模型，能夠通過閱讀所有的生物數據找到治療癌症的方法。」

實際上，最好的新應用仍然未知。

在 Character.AI，Shazeer 讓用戶開發這些應用場景：「我們將看到許多新的應用被釋放出來。我很難說出這些應用是什麼。將會有成千上萬種應用，而大多數用戶比少部分工程師更擅長髮現如何利用這項技術。」

我們迫不及待地期待這些進步對我們生活和工作方式的深刻影響，創業者和公司將通過這些新工具和能力實現強大的賦能。