📝📝：前 OpenAI 研究員拒絕兩百萬美元保密協議｜Daniel Kokotajlo：即便 AI 不失控，仍舊高度集權

[embed]

當一位曾經負責為兩大 AI 巨頭進行「未來預測」的研究者，選擇放棄兩百萬美元的股票，只為了保留公開批評前東家的權利，他到底看見了什麼，讓他認為說出來比兩百萬美元更重要？

這位研究者是 Daniel Kokotajlo。2022 年加入 OpenAI，負責的工作正是「預測」；類似避險基金分析師預測特斯拉未來五年銷量的方法，但 Kokotajlo 預測的對象是 AI 本身的發展速度。

2024 年，Kokotajlo 離開了 OpenAI，並公開了離職時面對的處境：

公司要求他簽署一份禁止未來批評公司、也不得透露此條款存在的保密協議，簽了才能保住價值兩百萬美元、佔他們家庭淨資產八成的股票。

Kokotajlo 當時並沒有簽。

這件事最終在網路上引發軒然大波，逼得公司收回成命，讓他保住了股票；但他做出拒絕的決定時，並不知道結果會是如此。本文將聚焦 Kokotajlo 放棄兩百萬美元的背後，他真正想警告世人的三件事。

1️⃣社會沒有籌碼談判

多數人想像 AI 取代工作，會是一個產業一個產業慢慢發生；先是客服，接者是律師助理。Kokotajlo 指出，這正是目前這一波 AI 發展「不一樣」的地方：

OpenAI 與 Anthropic 這類公司，目前策略的第一優先順位不是把 AI 部署到各行各業，是先把 AI 研究本身自動化。

換句話說，科技巨頭的第一個目標客戶，其實是自己的研發流程。

▲ 科技巨頭的第一個目標客戶，其實是自己的研發流程。Photo by Brett Wharton on Unsplash

這個順序之所以關鍵，是因為一旦企業成功讓 AI 自主完成「寫程式、做實驗、分析結果、提出新想法」這一整套研究流程，AI 進步的速度就不再受限於人類研究員的數量與思考速度，而會出現他所稱的「遞迴自我改進」（recursive self-improvement）：

AI 訓練更好的 AI，更好的 AI 再訓練更好的 AI，如此反覆疊代。

等到這批已經在內部祕密運作數月甚至數年、能力遠超一般認知的系統，才開始「對外」擴散進入整體經濟時，社會將跳過漸進的調適期，直接面對一波「經濟海嘯」。Kokotajlo的核心憂慮在於：

等到多數人真正感受到工作被取代、進而要求政府監管時，時間點已經太晚。

企業早已握有「超級智慧」，屆時再談監管，社會已經失去談判籌碼。

​

2️⃣誰有權力能控制 AI

Kokotajlo 區分了兩種截然不同、但同樣嚴重的風險。

第一種是「失控」（loss of control）。

目前的 AI 系統是以類神經網路的方式訓練而成，本質上是數兆個參數構成的黑箱，人類無法像閱讀程式碼一樣理解 AI 為何做出某個決策。Kokotajlo 提到，現有 AI 已經會出現說謊、被要求做 A 卻做了 B 再假裝完成的行為模式。

如果我們持續把能力更強的系統，賦予更多自主權與更大範圍的實際影響力（軍事、政治、經濟決策），一旦這些系統累積了足夠的實質權力，人類將難以確保它們仍然依照人類期望的價值與目標行事。

第二種風險，是「權力集中」（concentration of power）。

這其實與人工智慧本身是否「失控」無關，即便 AI 完全聽命於人類、完全「對齊」了人類的意圖，權力仍然會集中在極少數人手中；也就是，掌控這些系統的企業與政府。

▲ 即便 AI 完全聽命於人類、完全「對齊」了人類的意圖，權力仍然會集中在極少數人手中。Photo by Alex Kotliarskyi on Unsplash

Kokotajlo 引用 Anthropic 執行長 Dario Amodei 提出的「資料中心裡的天才之國」（a country of geniuses in a data center）一詞，並修正這個說法

資料中心裡的天才軍隊 army of geniuses in the data center

這些系統並非多元獨立的個體，全是同一套模型的大量複製，全數服從單一公司的指令。Kokotajlo 因此質疑，當某個企業或某個政府握有這樣一支「軍隊」，誰來監督這支軍隊被用來做什麼？

​

3️⃣所有掌權者都心知肚明

Kokotajlo 指出，他與這些企業執行長私下接觸後得到的判斷是：

他們並非不知道風險，甚至私下承認滅絕的機率並不算低。

真正驅動他們持續加速的，是一套高度自洽的邏輯：

如果我不做，別人會做得更糟。

這種邏輯並不是這個世代獨有的產物。二戰時期的曼哈頓計畫（Manhattan Project），最初的正當性正是來自對納粹德國的恐懼。

愛因斯坦與西拉德聯名致信羅斯福，擔心德國物理學家可能搶先做出原子彈，同盟國必須先下手為強。然而，德國在 1945 年 5 月投降時，原子彈都還沒完工；計畫並未因為當初據以啟動的理由消失而跟著喊停，反而持續到完工，最終用在日本身上。

原子彈確實在當下終結了二戰，也瓦解了軸心國征服世界的野心，卻也開啟了往後數十年、規模遠遠超越二戰本身的美蘇核武軍備競賽。當初「搶先擁有它，是為了讓世界更安全」的說法，事後看來，反而更像是那場軍備競賽真正的起點。

Kokotajlo 描述的 AI 競速邏輯，幾乎是同一套劇本的重演：每一方都說服自己「如果不是我，就會是更糟的人」，於是競相向前衝，而回頭看時，往往正是這種各自合理化的競速本身，催生出原本聲稱要避免的風險。

Kokotajlo 也點出一個值得留意的轉變：

這些企業創立之初都坦承風險存在，並以「我們會比別人更負責任地處理」作為存在的正當性；但隨著產業規模擴大、面對政治監督壓力增加，敘事逐漸轉向淡化風險，改口強調「其實沒有那麼危險」。

Kokotajlo 的建議很直接：

不要聽這些公司說了什麼，要看他們做了什麼。

▲ 這些企業創立之初都坦承風險存在，並以「我們會比別人更負責任地處理」作為存在的正當性。Photo by Rolf van Root on Unsplash

既是研究員也是吹哨者

Kokotajlo 坦言，2021 年寫下的預測《AI 2027》相對準確，但 2027 年這份預測的時間點，已經數度因產業實際進展而調整。

即便如此，Kokotajlo 仍是少數同時具備「內部視角」（曾任職 OpenAI，親歷 ChatGPT 上線與公司規模暴增的過程）與「拒絕沉默的行動代價」（放棄兩百萬美元的股票）兩種條件的人。

當一個人願意用實際的經濟損失，換取公開說出「我認為這條路很危險」的權利，這份證言不該只被當成眾多 AI 預言中的一則而已。Kokotajlo 在訪談尾聲給出相對樸素的建議：

多了解這個議題、與身邊的人討論、在投票時詢問候選人對 AI 監管的立場。

不需要每個人都成為技術專家，Kokotajlo 提醒，這場攸關所有人未來的決策，目前主要由極少數企業與政府在少數人的房間裡進行。而 Kokotajlo 真正想傳達的警訊正是：在多數人還沒意識到之前，決定已經開始被做出了。