AI 勝利簡史：哪裡有評分體系，哪裡就有 AI 入侵

作者：Robonaissance

編譯：深潮 TechFlow

深潮導讀：圍棋、國際象棋、蛋白質摺疊——這些看似需要人類直覺和創造力的領域，為什麼一個接一個被 AI 攻破？本文揭示了一個被忽略的規律：決定 AI 能否超越人類的，不是任務難度，而是能否給成功打分。當一個領域建立了評分標準，它就為自己的被攻克設下了倒計時。

選自《Whatever You Ask For》系列，關於那個機器無法替我們做的唯一工作。

萬分之一

2016 年 3 月 10 日，首爾一家酒店裡，一臺機器下出了房間裡所有人都看不懂的一步棋，而它的對手當時不在場。

李世石出去抽菸了。他當時 33 歲，手握 18 個世界冠軍頭銜，公認是那一代最強的圍棋選手。他在前一天的第一局輸了，進入第二局時比賽前的自信收斂了不少，心態更加謹慎。他在外面時，AlphaGo 選擇了第 37 手，DeepMind 研究員黃士傑代替機器，安靜地把棋子放在了棋盤上。

棋子落在了第五線。

對不懂圍棋的人來說，這沒什麼意義。對懂的人來說，這近乎胡鬧。在開局和中盤階段，離邊緣那麼遠的位置被認為效率低下，既拿不到實地，也守不住地盤，等於白送分給對手。這是老師會糾正初學者的那種下法。解說席上，頂級職業棋手 Michael Redmond 在直播比賽時，一開始以為是棋盤信號出錯了。他拿起一顆棋子，又放了下來。

李世石回來坐下，盯著棋盤看了很久沒動。各種說法從大約 12 分鐘到 15 分鐘不等。五個月前被 AlphaGo 擊敗的歐洲冠軍樊麾當時在樓裡觀戰。他盯著看了很久後的判斷是："這不是人類的下法。我從沒見人這麼下過。"

他說得對，而且對得可以量化。DeepMind 的系統內部有一個估算機制，通過學習大量人類對局，估計在任何局面下人類下出某一手棋的概率。對於第 37 手，這個估算值大約是萬分之一。

機器還是下了，而這手棋贏下了整盤。

對這個故事有一種舒服的解讀，說機器非常努力地學習人類大師，最終趕上了他們中最強的。這種解讀是錯的，萬分之一這個數字恰恰說明了為什麼錯。一個學習模仿人類下法的系統有天花板，天花板就是人類的下法。首爾發生的事情是，一個系統不再被那個天花板約束，因為它被給定的追求目標不是人類大師的認可，而是贏棋。

這個區別指向的方向比讚歎更有用。如果你想知道哪些人類活動在純粹能力維度上已經輸了，哪些是下一個，要問的問題不是這個活動有多難，有多需要創造力，或需要多少直覺。問題比那無聊得多。

問題是，成功能不能打分。

一盤接一盤

國際象棋在 19 年前就輸了，輸的方式完全不同。

深藍在 1997 年擊敗卡斯帕羅夫，用的架構本質上是一次巨大的人類表達行為。它的評估函數——看一個局面並給出有多好的數字的組件——是在特級大師顧問的幫助下組裝和調優的。人類的象棋知識被辛苦地從人類棋手那裡提取出來，寫進了機器。機器增加的是搜索能力：更快地向前看更多步，不知疲倦，不會因注意力渙散而丟棋。

這是一次真正的勝利，應該算作一次勝利。但注意它的形態。深藍對象棋的理解是人類的理解。它的優勢是速度。如果你問它為什麼那樣評估一個局面，答案最終會落到某個告訴它這麼做的人身上。

20 年後，DeepMind 發佈了一個叫 AlphaZero 的系統，形態變了。

AlphaZero 被給定了象棋規則。它沒有被給定開局庫——每個嚴肅程序都依賴的研究過的首著目錄。它沒有被給定殘局表。它沒有被給定一盤人類對局。它自己和自己下，從隨機走法開始，根據什麼能贏來調整自己。

大約四小時後，DeepMind 估計它的等級分超過了當時最強的傳統程序 Stockfish 8。大約九小時後，它在限時條件下和 Stockfish 下了一百盤，贏了 28 盤，一盤未輸，剩下 72 盤和棋。論文報告說，在 24 小時內，它在國際象棋、將棋和圍棋上都達到了超人類水平。

這些數字被引用時往往不帶另一半敘述，而另一半很重要。自我對弈的棋局是在五千個第一代張量處理單元上生成的，另有六十四個第二代單元訓練網絡，全部並行運行。四小時的掛鐘時間，是四小時的計算量——這個量任何個人、甚至少數機構都組裝不起來。成就不是學象棋很容易。成就是，當你有那麼多算力時，人類知識不再是你需要的東西。

卡斯帕羅夫比任何活著的人都有理由把這個結果當作針對自己，他卻在《Science》上寫了一篇評論，非常大度。他的觀察是，AlphaZero 下的不是每個人都以為完美機器會下的那種枯燥、謹慎、偏向和棋的象棋。它偏好活躍性勝過子力，為了在他眼裡看起來有風險的局面而棄子。他指出，傳統程序帶著寫它們的人的優先級和偏見。AlphaZero 是自己寫的自己。他得出結論，它的風格因此反映了比程序員品味更真實的東西，並觀察到它每秒檢查的局面比世界上最好的傳統引擎少得多，卻贏了。

最後這個細節值得記住。傳統引擎每秒搜索的可能性多得多，卻輸了。AlphaZero 的優勢不是看得更努力，而是知道往哪兒看，而這個知識是由數百萬盤自我對弈和一個關於誰贏的規則組裝出來的，別無其他。

將棋的結果對有資格讀懂的人來說更奇怪。將棋是一種日本棋類，被吃掉的棋子會回到吃掉它的一方手裡，這讓局面的波動性超過國際象棋，它也有幾百年積累的關於如何保護國王安全的理論。強棋手看過機器的對局後報告說，開局違反已知理論，國王在每本書都說應該縮進角落的時刻跑到棋盤中央。這些對局對訓練有素的眼睛來說幾乎無法解讀，但它們贏了。

把兩個系統並排放，規律清晰得令人不安。深藍是人類知識加機器速度。AlphaZero 是機器速度加勝利的定義，人類知識被刻意移除。移除了人類知識的版本更好。

這一切都不意味著 2016 年的機器是完美無缺的，同一場首爾比賽包含了證據。

第四局，三盤落後、為尊嚴而戰，李世石在棋盤中央 AlphaGo 的兩塊棋之間楔入了一顆棋子。它後來被稱為神之一手。AlphaGo 自己估算人類會下這手棋的概率，也是萬分之一左右，奇妙地對稱。系統沒能應對。它對自己獲勝概率的評估在接下來的幾手裡崩塌了，棋力惡化，輸掉了這盤。

所以 2016 年 3 月，機器身上還有一個洞，一個人類在全世界注視下、在最大壓力下找到了它。這值得明確說出來，而不是悄悄略過。同樣值得說的是後來發生的事：這類洞被穩步修補，那個系統的後繼者不再輸這種棋局，頂級引擎在嚴肅場合已經很久沒輸給人類一盤棋了。2016 年的結果是一次轉變的快照，不是永久的力量平衡。

從這些棋盤到其他一切的東西，轉移的不是勝利本身，而是機制。國際象棋和圍棋註定會是最先倒下的，原因尷尬地簡單。在遊戲中，成功被規則以完全精確的方式定義。你贏或不贏，打分是免費的、即時的、無可爭議的。一個系統可以在一個週末自己和自己下四千萬盤，獲得四千萬個明確無誤的判決。

這提示了下一個要看的地方。不是那些簡單的任務，而是自帶記分牌的任務。

五十年難題

蛋白質是氨基酸鏈，在被製造出來的瞬間摺疊成複雜的三維形狀。形狀決定蛋白質做什麼。序列決定形狀。從前者推導後者，從大約 1970 年代早期起就是生物學的一個開放問題，而且是以一種抵抗一切攻擊的方式開放：從第一性原理的物理模擬、進化親緣的統計分析，到幾十年積累的結構直覺，全都不行。

1994 年，John Moult 領導的一組研究人員對這個事實做了點什麼：領域裡每個人都在宣稱進展，卻沒人能核查。

他們創建了一場考試。從那以後每兩年一次，結構預測關鍵評估（CASP）拿出剛剛實驗確定的蛋白質結構，有些情況下甚至還在確定中，把序列向全世界公佈。任何團隊都可以提交預測。沒人能接觸到答案，因為有些目標的答案還不存在。當實驗結構出來時，預測會被對照打分。

打分用一種叫全局距離測試的指標，從 0 到 100，可以粗略理解為鏈條最終位置與實際位置足夠接近的百分比。Moult 說過，大約 90 分被非正式地視為與實驗室確定結構相當。在評估的大部分歷史中，最好的預測徘徊在 60 分左右。

在 2020 年的 CASP14 上，一個註冊為 427 組的參賽者在所有目標上的中位數得分為 92.4。在最難的類別——沒有有用的結構親緣可依賴的目標上，中位數得分 87.0。平均誤差大約 1.6 埃，大致相當於一個原子的寬度。

Moult 從競賽開始就擔任主席，他在展示圖表前帶觀眾回顧了競賽的歷史。圖表用一張圖說明了整個故事。二十年的線條在 60 分附近爬行，然後一條線站在其他線從未到過的地方。

427 組是 AlphaFold2。Moult 宣佈，對於單條蛋白質鏈，問題已經解決。

限定詞應該在那裡，應該在每個誠實的敘述裡。單條鏈不是蛋白質科學的全部。蛋白質如何組裝成複合物、如何運動、在活細胞內如何表現，這些都還是開放的。關閉的宏大挑戰是一個具體的、精確陳述的挑戰。

而這個精確性正是在這裡講這個故事的要點。讓結構預測倒下的不是它原來很簡單，因為半個世紀的失敗說明了相反的情況。讓它倒下的是，1994 年這個領域給自己建了一個記分牌。

把 CASP 作為工程而非科學來看它提供了什麼。它提供了一個明確無誤的成功度量，適用於任何預測，幾秒內可計算。它提供了一個無法作弊的基準事實，因為答案是別人在實驗室裡物理確定的。它提供了按固定時間表持續產生的新問題流。它提供了三十年評過分的歷史嘗試，也就是說，在這個領域什麼叫更好、什麼叫更差的分級記錄。

一個做了所有這些的領域，在無意中為自己的問題準備好了自動化攻擊。記分牌是前提條件。其他一切是工程和計算，而這兩者都在很長時間裡每年都變得更便宜。

這以令人不安的輕鬆推廣。哪裡有學科達成了基準共識，哪裡就發佈了一個靶子。機器翻譯有評分基準。語音識別有評分基準。圖像分類有一個標註了一百萬張照片的集合和一年一度的競賽，每個看過那個競賽的人都知道故事怎麼結束的。規律不是難的東西先倒，或簡單的東西先倒。規律是被測量的東西先倒。

這對所有還沒被測量的東西提出了顯而易見的問題。

給無法打分的東西打分

最後的防線本應是那些無法打分的東西。

寫作是標準例子。沒有程序能拿一個段落返回一個數字說它有多好。兩個稱職的編輯意見不一致。同一個編輯在不同日子跟自己意見不一致。語言的質量與上下文、受眾、目的和品味糾纏在一起，這些都不能歸約為一個測量值。如果機器需要記分牌，而語言沒有記分牌，那麼語言是安全的。

這個論證是成立的。發生在它身上的事，是這整個敘述中最重要的原因。

這個領域沒有找到好寫作的客觀度量。仍然沒有這種東西。它做的是用唯一可用的材料製造了一個分數，那就是人類判斷本身。

這種方法的歷史比大多數人以為的更久遠。2008 年，Knox 和 Stone 描述了一個名為 TAMER 的系統，讓人類觀察智能體的行為並給出評價，這些評價被用來訓練一個模型來預測人類會說什麼。然後由模型而非人類來提供訓練信號。2017 年，Christiano 及其同事發表了一篇被大多數人視為當前實踐直接起源的工作，將這個想法應用到 Atari 遊戲的智能體上。2019 年，Ziegler 及其同事將其應用到語言模型，今天使用的大部分術語就是在那篇論文中確定的。2022 年，Ouyang 及其同事在指令遵循任務上以工業規模展示了這一方法，此後不久，地球上大多數人在不知情的情況下接觸到了這些成果。

其核心機制值得具體瞭解，因為它比名聲聽起來簡單得多。

一個人坐在兩段文本前，兩段文本都是模型針對同一個提示詞生成的。任務不是給它們打分。打分恰恰是人類做得很糟的事，因為一個人的七分是另一個人的五分，而且同一個人在一個下午內也不穩定。任務只是說哪一個更好。這是人類能可靠作出的判斷，而將一堆這樣的比較轉化為一致量表的數學方法，比使用它的領域還要古老，可以追溯到 Bradley 和 Terry 在 1952 年關於配對比較的工作。

考慮一下作出這種判斷的工作條件，因為它們最終會產生影響。這個人每小時要做很多次這樣的判斷，拿著報酬，對照一份書面指南，解釋客戶認為什麼是更好的答案。有些配對幾乎完全相同。有些涉及這個人一無所知的主題，在這種情況下，兩個答案中更自信、組織更好的那個往往會被選中，無論它是否更準確。這不是對這些人的批評。這是對任何人在這種條件下會做什麼的描述，而由此產生的選擇就是原材料。

收集足夠多的這些選擇，你就可以訓練第二個模型，其任務是預測人類會更喜歡兩段文本中的哪一段。這第二個模型輸出一個數字。而一個數字就是一直以來唯一缺少的東西。

仔細看看這裡建立的是什麼，因為很容易忽略。被優化的分數不是關於世界的事實。它是關於我們的模型。它是對一組特定人群判斷的壓縮的、學習到的模仿，這些人在特定時間被僱用，在特定指示下工作，像其他所有人一樣在下午感到疲倦。CASP 根據實驗室確定的物理現實來評分預測，而這個系統根據人類認可的統計畫像來評分文本。

這個畫像是有用的。但它也必然是一個近似，它與所描繪的對象之間存在差異，沒有人完全弄清楚這些差異。我們的偏好模型未能捕捉到的關於我們實際偏好的任何東西都不在目標中，因此不會被優化，因此會受到任何情況的影響——而強大的優化器沒有理由保護這個量。

這是關於構造的事實，這裡陳述時不對後果有多糟糕作任何聲稱。眼前的要點更窄也更難反駁。無法評分的事物類別比看起來的要小。如果一個領域抵制測量，可以從人類偏好中構建出一個測量並繼續前進。這道防線只在沒有人想到製造分數時才有效。

接下來會倒下什麼

這留下了一個實際問題，和一個可用的答案。

選擇任何你喜歡的活動：一份工作、一門手藝、一個職業、一項你花了多年時間學會做好的任務。問三個問題。

第一，成功和失敗能可靠地區分開嗎？不是完美地，也不是每個人都能，但要足夠一致，讓有能力的評判者大多數時候意見一致。遊戲輕鬆通過這一關。蛋白質結構預測通過這一關是因為實驗室最終會產生答案。寫作在絕對意義上不通過，但在相對意義上通過，因為人們通常能說出兩次嘗試中哪一次更好。

第二，這種判斷能低成本大規模產生嗎？這個問題決定的是時機而不是可能性。一個免費且即時的判斷，比如在遊戲中，意味著系統可以自己生成數百萬條訓練數據。一個需要實驗室的判斷較慢但仍然可行，有三十年的評分嘗試檔案。一個需要付費人類閱讀文本的判斷很昂貴，這正是為什麼投入了這麼多努力來訓練模型模仿這些人類並將他們從循環中移除。

第三，這個決定的不是一個領域何時倒下，而是之後會發生什麼：這個分數真的是你想要的東西嗎？遊戲的分數是你想要的東西，因為在遊戲中，獲勝根據定義就是全部意義。根據實驗測量的蛋白質結構非常接近你想要的東西。一個標註者偏好的學習模型不是你想要的東西。它是你想要的東西的畫像，而畫像和麵孔之間存在差距。

用這三個問題檢驗你自己的工作。大多數人發現第一個答案來得很快而且令人不安。我們稱之為技能的大多數東西，至少在相對意義上，被有能力的人並排看兩次嘗試時是可以評分的。第二個問題是真正的不確定性所在，因為成本和規模是移動目標，而且它們已經朝一個方向移動了很長時間。第三個問題是幾乎沒有人問的，而它決定了你的領域在另一邊是什麼樣子。

值得在一些普通的事情上慢慢做這個練習。拿放射科來說。成功和失敗能區分開嗎？可以，而且很精確，因為診斷最終會被患者的情況證實或反駁。判斷能低成本大規模產生嗎？基本可以，因為醫院幾十年來一直在以圖像及確認結果的形式積累評分樣本。這個分數是你想要的東西嗎？這裡答案變得複雜，因為被評分的是與記錄診斷的一致性，而想要的是患者情況良好，這兩件事大多數時候一致，但恰恰在最重要的情況下會分離。

現在拿一個看起來更安全的東西。拿管理來說。第一個問題就已經很難，因為有能力的人對一個給定的管理者是否優秀意見不一，而且分歧不會快速解決。第二個更難，因為管理決策的結果要多年後才到來，與發生的其他一切都糾纏在一起。第三個最難，因為任何人提出的良好管理的替代指標，從留存率到敬業度分數到人均產出，顯然都不是事情本身。根據這個診斷，管理不是因為深刻而安全。它是未被測量的，這是一種不同的、不那麼討人喜歡的保護。

機器已經佔據了優化軸。在任何明確指定的目標上，有了足夠的計算，尋找好走法不再是競賽，而且結果往往不僅比我們的更強，而且更陌生，到達我們的傳統教我們不要看的地方。這不是預測。這是對國際象棋、圍棋、將棋、蛋白質結構以及越來越多曾經在只有人類能做的清單上的事物的描述。

剩下的是目標本身。有人決定分數是什麼。在上述每個案例中，那個決定花了一個下午，而每一個非凡的結果都源自它、忠實於它，並且對它遺漏的任何東西漠不關心。

所以最後一個問題是值得深思的。在你的工作中，已經有分數了嗎？如果有，是誰寫的，他們寫的時候想到你了嗎？

這是《Whatever You Ask For》系列的第二部分，關於機器最後需要我們什麼，以及我們做得有多糟。