PNAS最新研究：81%解題率，神經網絡 Codex 推開高等數學世界大門

• 2022 年 8 月 9 日
• AI

編輯 | 陳彩嫻

近日，一項新研究發佈於PNAS，再次刷新了神經網絡的能力。這次神經網絡被用來解決了高等數學題，而且還是麻省理工數學課程難度的數學題！

在這項新研究中，研究團隊證明了 OpenAI 的 Codex 模型可以進行程序合成從而解決大規模的數學問題，並通過小樣本學習自動解決數據集中 81%的數學課程問題，並且 Codex 在這些任務的表現上達到了人類水平。

這項研究的出現，顛覆了人們普遍認為神經網絡無法解決高等數學問題的共識。研究團隊指出，Codex 之所以能做到實現這樣的能力，正是因為團隊進行了一大創新，過去那些不成功的研究只使用了基於文本的預訓練，而此次現身的 Codex 神經網絡不僅要基於文本進行預訓練，並且還對代碼進行了微調。

研究的問題數據集選用來自 MIT 的六門數學課程和哥倫比亞大學的一門數學課程，從七門課程中隨機抽取 25 個問題：MIT的單變量微積分、多變量微積分、微分方程、概率與統計概論、線性代數和 計算機科學數學和哥倫比亞大學的 COMS3251 計算線性代數。

同時，研究團隊使用了一個用於評估數學推理的最新高級數學問題基準 MATH，用 MATH 來檢測OpenAI Codex 的能力，MATH 從6大數學板塊：初級代數，代數，計數和概率，中級代數，數論，和初級微積分中各抽取15個問題。

研究顯示，Codex 解決了問題數據集和 MATH 數據集中的 265 個問題，其中有 213 個是自動解決的。

在 Transformer 發佈後，基於 Transformer 的語言模型在各種自然語言處理 (NLP) 任務，包括在零樣本和少樣本語言任務中取得了巨大成功。但是因為 Transformer 僅在文本上進行了預訓練，所以這些模型基本上不能解決數學問題，GPT-3就是一個典型例子。

後來，通過小樣本學習（few-shot learning）和思維鏈 (Chain-of-thought， CoT) 提示，GPT-3 的數學推理能力得到了提高；然而，在沒有代碼的情況下，即便有小樣本學習和 CoT 提示， GPT-3 在大學水平數學問題和 MATH 基準測試中仍然無能為力。

過去關於解數學題的研究，可能在相對簡單的數學水平上有一定成績。舉個例子，基於協同訓練輸出來驗證或預測表達式樹的技術，比如MAWPS 和 Math23k，能夠以超過 81% 的準確率解決小學級別的數學問題，但是其不能解決高中、奧林匹克數學或大學難度的課程。協同訓練與圖神經網絡 (GNN) 相結合以預測算術表達式樹，能夠以高達 95% 的準確率解決機器學習中的大學水平問題。但是這項工作也僅限於數字答案，並且產生了過擬合，不能推廣到其他課程。

而這項工作的最大創新點之一就是，不僅對Codex 這種Transformer 模型進行了文本上的預訓練，還在代碼上進行了微調，使得其可以生成大規模解決數學問題的程序。

研究團隊從數據集中隨機選擇不需要輸入圖像或證明的問題樣本來進行測試。其中，僅對文本進行預訓練的語言模型 (GPT-3 text-davinci-002) 僅自動解決了課程問題中的18%和 MATH基準測試問題中的25.5%。

相比之下，使用零樣本學習和對文本進行預訓練並在代碼上進行微調的神經網絡（OpenAI Codex code-davinci-002）合成的程序可以自動解決課程問題中的 71%和 MATH 基準測試問題中的72.2%。

而使用相同的神經網絡 Codex 再加上少樣本學習，便可自動解決課程中81%的問題和 MATH 基準測試中81.1%的問題。而其餘模型無法自動解決的19%的課程問題和18.9%的MATH基準問題，最後通過手動提示解決。

小樣本學習方式的補充，則是這項研究的第二大創新點。從上圖中可以看出，當零樣本學習無法解答問題時，便會使用（問題，代碼）對（pair）執行小樣本學習：

1） 使用 OpenAI 的 text-similarity-babbage-001 嵌入引擎嵌入所有問題；

2） 使用嵌入的餘弦相似度從其課程中計算與未解決問題最相似的已解決問題；

3） 將最相似的問題及其相應的代碼作為小樣本問題的示例。

圖註：4種方式的自動解題率對比

上圖分別是Codex的零樣本學習、小樣本學習和GPT-3的零樣本學習、小樣本學習4種方式的自動解題率對比。圖上可以看出，橙色條狀所代表的小樣本學習 Codex 在自動解題率上的優秀表現，基本上在每個數學領域上的表現都強於其他3種方式。

這項研究的第三大創新點，便是提供了一條解決數學問題和解釋為何如此解答的管道，下圖展示了MIT 5門數學課程中管道的執行流程。

以 18.01 單變量微積分問題為例，給定一個問題和自動生成的前綴「使用 SymPy」，Codex 被提示並輸出一個程序。運行程序會產生正確答案的方程式。然後，程序會自動提示再次輸入 Codex，從而生成生成的代碼解釋。

除了解決數學問題和解釋答案，Codex 也被用於為每門課程生成新問題。

為了評估生成的問題水平，團隊在參加過這些課程或者同水平課程的MIT學生中做了調查，主要是比較機器生成的問題和人工編寫問題的質量和難度。

在MIT的6門課程中，每門選擇5個人工編寫問題和5個模型生成問題混合起來並且隨機呈現。對於 60 個問題中的每一個問題，參與調查的學生都需要回答 3 個調查問題：

1）你認為這個問題是人工編寫的還是機器生成的？

2）你認為這個問題適合還是不適合特定課程？

3 ) 在 1（最簡單）和 5（最難）之間，你認為這個問題的難度級別是多少？

在收回的問卷中，學生調查結果總結如下：

• 機器生成和人工編寫的問題難度相似。

• 人工編寫的問題比機器生成的問題更適合課程。

• 人工編寫的答案很難被識別錯，而機器生成的問題被學生認為既可能是機器生成的，也可能是人工編寫的。

機器生成的問題已經能讓學生無法辨別，說明Codex 在生成新內容方面已達到了人類的表現水平。

但是，該模型也有無法解決的問題，比如，如果問題以圖像或其他非文本形式出現，它就無法回答；帶有需要證明的解決方案的問題，或者計算上難以解決的問題，比如分解非常大的素數，該模型也無法解決。不過，最後一種問題也不應出現在任何數學課程作業中，因為就算是真人學生也沒法回答。

//dataspace.princeton.edu/bitstream/88435/dsp01g445ch067/1/Sun_princeton_0181D_13173.pdf

雷峰網