看得懂AI寫出的解釋,就代表看懂了它如何得到答案嗎?
我在多模型協作裡,會讀模型彼此辯論的對話。某個模型改變立場時,我未必能從紀錄找出明確轉折。這能說明的是:現有紀錄不足以讓我理解,不能證明我看到了模型真正的內部推理,更不能據此判定它在隱瞞。
原稿把Neuralese、潛在空間與思維鏈連成一條「語言消失,監督就終結」的路,說得太直了。值得保留的問題,是少了一種可讀訊號後,其他檢查能不能補上。
TL;DR:Neuralese在不同研究脈絡有不同用法。2017年的多代理通訊、語言模型內部向量運算,以及Coconut的連續潛在推理,不是同一個實驗。自然語言思維鏈也不保證忠實完整。新架構可能改變監控條件,但沒有文字不等於刻意隱藏,有文字也不等於已安全;需要把解釋、行為驗證與權限控制一起設計。
一、先分清這個詞指的是哪一件事
2017年的〈Translating Neuralese〉,作者是Jacob Andreas、Anca Dragan與Dan Klein。論文研究多代理系統學得的通訊,以及如何把這些訊息與自然語言連結,讓人理解並與代理合作。[1] 原稿將作者之一誤列為Sergey Levine,這裡更正。
這個研究脈絡,不能直接當成今日所有大型語言模型內部運算的統一定義。當一篇文章使用Neuralese,我會先找它具體指向哪個系統、哪種通訊或推理步驟。
語言模型會進行向量與數值運算,與「每一步中間推理是否輸出文字」也是不同問題。有內部表徵,不足以證明模型發展出一套有意避開人的秘密語言。
因此,我撤下原稿「每中文字承載量差千倍」與token固定16位元的比較。儲存多少數值,不等於已量到多少有效語意資訊,也不能直接換算成推理效率。
二、Coconut展示一種研究做法,沒有包辦所有推理
Coconut論文探討把模型的隱藏狀態直接用作後續輸入,讓部分中間過程在連續潛在空間進行,減少每一步都先轉成文字的需要。[2]
本次讀取的v4版本,在特定推理任務比較文字思維鏈、無思維鏈及其他變體。結果依任務而異:有些資料集以較少生成步驟取得較好結果,但在GSM8k數學題上,Coconut沒有超過文字思維鏈的準確率。[2]
這可以支持「值得研究不同推理表示」,不能支持「所有模型都能少用三分之二到九成token,而且表現不變」。生成步數、實際時間、模型規模與任務正確率,也要分開核對。
我不會僅從這個實驗,推論某家當前商用模型已採同樣架構,或所有前沿公司都尚未採用。產品內部做法需要對應的公開證據,不能由一篇研究補齊。
三、可讀思維鏈是監控訊號,不是完整心智錄影
思維鏈(Chain-of-Thought,CoT)把某些中間步驟表達成文字,可能讓檢查者發現可疑規劃、錯誤或評估問題。但一段文字是否忠實反映影響答案的因素,仍需檢查;讀起來合理,不足以保證它完整。[3]
〈Chain of Thought Monitorability〉把這視為有用、但可能脆弱的安全機會,討論訓練壓力與新架構可能削弱監控訊號,也列出偵測能力的限制。[3] 它是一篇研究者立場文,不能寫成各公司已正式承諾、或已能抓到大部分欺騙行為的保證。
我關心的不是把每個未說出的步驟都叫欺騙。內部計算難懂、解釋不完整,以及系統採取了違反要求的行為,是不同的主張,需要不同證據。
若某架構減少了可讀中間文字,應測量原監控方式失去了什麼,而非先宣布監督必定失效。反過來,也不能因為仍有一串解釋,就免除對結果與實際行為的驗證。
四、從看對話,走到檢查工作怎麼完成
在多模型協作中,我可以把討論紀錄當成檢查入口:某個結論用了什麼資料、有哪些假設、模型提出了什麼反對意見。這些紀錄幫助我追問,卻不能替代原始資料與結果核對。
我的實務建議是把檢查拆成三種:
- 解釋:要求能供人理解的理由、來源與限制,避免只剩一句結論。
- 行為:核對實際輸出、操作與測試結果,確認它完成的事與宣稱一致。
- 權限:在重要行動前保留授權、覆核與停止機制,不讓漂亮說明自動取得執行權。
這是作者整理的工作方式,並非一套已驗證能涵蓋所有模型的安全標準。不同用途還要決定驗收門檻與剩餘風險由誰承擔。
這樣做的目的,是不把所有監督能力押在單一文字訊號上。能讀到更多理由通常有幫助,但「可讀」和「已經證實」仍是兩道檢查。
五、語言主權是我提出的問題,不是研究證明的終局
我用「語言主權」描述一個規範上的關切:當AI參與重要工作,人是否仍能理解足夠的資訊、提出異議,並由有權的人決定下一步。它不是上述論文共同證明的法律概念,也不是所有治理機制只有語言這一個入口。
人類自己的解釋也可能事後合理化,所以要求說明之外,制度還需要紀錄、可反駁的證據與責任分工。AI的可解釋性應放在這個更大的設計裡看。
原稿引用《AI 2027》描繪監督斷裂。那是未來情境,不是已發生的實驗證據。[4] 情境可以幫我提出「若監控訊號變少怎麼辦」的問題,不能拿來證明這一天已經到來。
同樣地,台灣的半導體地位是否能轉成制定透明性標準的影響力,是待討論的策略判斷;本文沒有證據把這條路說成現成籌碼或必然成果。
六、先問少了哪種檢查,再談採不採用
若我要評估新的推理架構,會先問:它改善哪一類任務,基準是否相同?哪些中間訊號不再可讀?是否有其他可檢驗證據?重要行動的控制權有沒有改變?
答案可能隨任務而不同。保留現有文字思維鏈,也可能與其他安全或能力進展產生取捨,不能預設唯一正確方案永遠是不准改架構。[3]
我希望保留的,是人可以追問與介入的能力。語言是重要工具;來源、實測、操作紀錄與權限邊界也都需要在場。
與其說最後一扇窗必然關閉,我更想把問題問清楚:我們少看見了什麼,又準備用什麼證據補上?
資料來源與閱讀界線(查核至2026年11月3日)
- Andreas、Dragan、Klein,Translating Neuralese,ACL 2017,作者與多代理通訊研究脈絡。
- Hao等,Training Large Language Models to Reason in a Continuous Latent Space,v4,2026年8月23日版本;方法、三項任務比較與限制。本文未重跑實驗,也不據此判定商用產品架構。
- Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety,v2,2025年12月7日版本;監控機會、新架構與限制,屬研究者立場文,不是產品安全保證或公司共同承諾。
- AI 2027原站的slowdown情境,未來情境而非觀察資料;本文沒有核查其全部預測或其他結局。


💬 留言討論
載入中...