不要相信那个算对答案的 AI！从“考高分”走向“科学家” - AGI 之路

摘要

解析二〇二六年一篇題為人工智能在數學推理中的應用的全景式綜述論文，主張數學 AI 的技術範式正從答案預測轉向可驗證的發現。影片提出論文的核心框架監督階梯（結果獎勵模型到過程獎勵模型到自動形式化與形式化證明），並用兩個關鍵的百分之七十八數字說明過程審查與 AI 反向貢獻數學基建的雙重突破，同時揭露表面擾動崩潰、形式化證明成本高昂、多智能體信用分配危機等三大工程痛點。

重點

• 核心框架監督階梯：結果獎勵模型只看最終答案對錯，容易讓模型學會偽造推理過程套取獎勵；過程獎勵模型逐行審查推理步驟，如同嚴格的代碼審查；自動形式化把自然語言證明翻譯成可編譯驗證的強型別程式碼，相當於給動態語言強制加上嚴格的靜態型別檢查
• 兩個關鍵百分之七十八：過程獎勵模型逐行打分機制把某數據集子集準確率推升到百分之七十八；一個生成新定理的專案產出四千零二十八條可驗證新定理，經人類專家與編譯器審計後數學正確性達百分之七十八，代表 AI 開始主動向人類開源數學庫貢獻基建代碼
• 訓練方法演進：從需要龐大評論家模型、顯存占用高且訓練不穩定的近端策略優化，演進到群組相對策略優化，讓模型生成一組答案後在組內比較相對優勢，砍掉評論家模型、顯存直接省一半
• 三大工程痛點：表面擾動測試顯示只要換個無關變數名，模型準確率可能從八成七暴跌到三成七，顯示模型仍在擬合語言表面句法而非建立真正的代數抽象；形式化證明成本高昂，硬解一道難題可能耗費五到十萬個推理 Token，單次推理成本達二到四美元；多智能體協作若共享相似訓練分布容易產生相關錯誤，且缺乏細粒度的信用分配機制
• 不同年份版本的競賽基準分數落差揭露數據污染鐵證：前沿模型在舊版基準上得分普遍虛高十到二十個百分點，有模型甚至虛高近六成，證明部分驚艷高分是背誦題庫而非真實推理能力
• 案例展示驗證發現流水線：一個模型提出證明策略，另一個推理引擎寫出自然語言證明草稿，再由專門系統翻譯成形式化戰術腳本，最後由證明助手內核編譯驗證，出錯則沿反饋迴路打回重新迭代，最終攻破一個塵封的數學未解猜想

金句