圖源：Quanta 雜誌Merrill Sherman但與大腦的思考相比，人工神經網路中的數字化學習看起來效率非常低。在每天攝入不到2000卡路里熱量的情況下，一個人類兒童在幾年內就能學會說話、閱讀、玩遊戲以及更多的東西。在如此有限的能量條件下，能夠流暢對話的GPT-3神經網路可能需要一千年才能學會聊天。從物理學家的角度來看，一個大型數字神經網路只是試圖去做過多的數學運算。如今最大的神經網路必須記錄和操縱超過5000億個數字。這個驚人的數字出自下圖中的論文「Pathways 語言模型 (PaLM)：擴展到 5400 億個參數以實現突破性性能（Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance）」：
2 思考部分McMahon和合作學者們已經在這個謎題的「思考」部分取得了進展。在新冠疫情發生前的幾個月，McMahon在康奈爾大學建立了實驗室，他仔細思考了一個奇怪的發現。多年來，表現最出色的影像識別神經網路已經變得越來越深度。也就是說，有更多層的網路能夠更好地接收一堆像素並給出標籤，如「獅子狗」。這一趨勢啟發數學家們研究神經網路實現的轉換（從像素到「獅子狗」），在2017年幾個小組在論文「任意深度殘差神經網路的可逆結構（Reversible Architectures for Arbitrarily Deep Residual Neural Networks）」中提出，神經網路的行為是一個平滑數學函數的近似版本。
圖註：康奈爾大學的一個研究小組訓練了三種不同的物理系統來「讀取」手寫數字：從左到右分別是一個振動的鈦板、一個晶體和一個電子電路。圖源：左圖中圖為康奈爾大學Rob Kurcoba攝；右圖為Quanta 雜誌 Charlie Wood攝。該小組還在一個光學系統中實現了他們的方案——輸入影像和權重被編碼在兩束由晶體混合在一起的光束中——以及一個能夠類似地變換輸入的電子電路中。原則上，任何具有拜占庭行為的系統都可以如此，但是研究人員相信光學系統具有特殊的前景。晶體不僅能極快地混合光線，而且光線還包含了關於世界的豐富數據。McMahon想像他的光學神經網路的微縮版本有一天會成為自動駕駛汽車的眼睛，能夠識別停車標誌和行人，然後將資訊輸入汽車的電腦晶片，就像我們的視網膜對進來的光進行一些基本的視覺處理一樣。然而，這些系統的致命弱點在於，訓練它們需要回歸數字世界。反向傳播涉及到反向運行神經網路，但是底片和晶體不能輕易地分解聲音和光。因此，該團隊為每個物理系統構建了一個數字模型。在筆記型電腦電腦上反轉這些模型，他們可以使用反向傳播演算法來計算如何調整權重以給出準確的答案。通過這一訓練，這塊鈦板學會了對手寫數字進行分類，正確率為87%。而上圖中的電路和雷射的精度分別達到93%和97%。研究結果表明「不僅標準的神經網路可以通過反向傳播進行訓練，」法國國家科學研究中心（CNRS）的物理學家Julie Grollier說，「這太美了。」該研究小組的振動鈦板還沒有使計算的效率接近大腦的驚人效率，這個設備甚至不及數字神經網路的速度。但McMahon認為他的設備十分驚人，因為這種設備證明了人不只可以用大腦或電腦晶片來思考。「任何物理系統都可以是神經網路。」他說。
3 學習部分另一個的難題是——如何讓一個系統完全自主學習。德國馬克斯·普朗克光科學研究所的物理學家Florian Marquardt認為，有一種方法是建造一台倒著運行的機器。去年，他和一個合作者在論文「基於Hamiltonian回波反向傳播的自學習機器（Self-learning Machines based on Hamiltonian Echo Backpropagation）」中提出了一個可以在這樣的系統上運行的反向傳播演算法的物理模擬。
