「忒修斯Theusus」早期機器學習演示——克勞德·香農1950年的模仿遊戲(6k字)

• 2019 年 10 月 8 日
• 筆記

科學史上，克勞德·香儂是足以和牛頓、萊布尼茨、愛因斯坦、圖靈、馮諾依曼等相提並論的天才人物，是推動人類文明的前行者。從古代魯爾機器之夢，到圖靈提出模仿遊戲，人類追尋智慧本質已好幾百年。在圖靈測試主張模仿智慧的功能表現後，香儂製作出了演示機器鼠學習走迷宮的模仿遊戲，並於1952年在貝爾實驗室錄像，本文回顧這段用機器模仿智慧的歷史。

一、圖靈的機器能思考嗎

1950年，圖靈發表里程碑論文《電腦器與智慧》(又名《機器能思考嗎?》)，第一次提出「機器思維」和「圖靈測試」(TurningTest)的概念。圖靈在《電腦器與智慧》開篇就寫到要研究「機器能思考嗎」這一問題，這樣描述他的設想：「人的大腦好似一台巨型的電子電腦，初生嬰兒的大腦皮層像『尚未組織好的』機器，可以經過訓練，使之成為『組織好了的』類似於萬能機(即萬能圖靈機)式的機器。」針對這一設想，他提出了「圖靈測試」的概念。圖靈測試是一個人機測試，電腦和人類分別回答問題，如果提問者分辨不清哪個是真人，那麼則認為該電腦具有智慧。這就是人工智慧的最初設想。他認為：假如通過電傳終端與另一邊進行對話，人們無法區分那邊是機器還是人類?那麼就該承認這機器具有智慧。

「圖靈測試」主張在認知科學上稱為功能主義，也就是說在功能表現上模仿出人類智慧，而不管是不是真正的智慧，這是一種模仿。這種「模仿遊戲」在1950年代，成為人工智慧的主流研究範式，影響眾多科學家做出具體的探索。香儂的「忒修斯Theusus」早期機器學習演示，就是在功能表現上模仿學習過程。考慮到觀察、測量的結果是等效的，對智慧進行模仿的方法，也是科學方法。

二、香儂的人工智慧提案

1955年8月31日，貝爾電話實驗室的克勞德·艾爾伍德·香農(Claude Elwood Shanon)和達特茅斯學院的J.麥卡錫(J. McCarthy)，哈佛大學的M.L.明斯基(M. L. Minsky)，I.B.M公司的N.羅切斯特(N. Rochester)四人一起，起草了《人工智慧達特茅斯夏季研究項目提案》，並於1956年在達特茅斯如期召開了該研究會。這項工作的一些成果包含在即將出版的香農(Shannon)和麥卡錫(McCarthy)編輯的「年鑒研究(Annals Study)」中。其中提案創始人香儂被寫在了第一位，如下。

該提案的創始人是：

1. C.E.香農(C.E.Shannon)，數學家，貝爾電話實驗室。香農(Shannon)開發了資訊統計理論，命題演算在開關電路中的應用，並且有關於開關電路的有效合成，學習機器的設計，密碼學和圖靈機理論的結果。他和J.麥卡錫(J. McCarthy)共同編輯了「自動機理論」的數學年鑒研究。[1]

在這份《人工智慧達特茅斯夏季研究項目提案》中，香儂的提案如下。

C.E.香農(C.E. Shannon)的研究提案

我想將我的研究投入到下面列出的一個或兩個主題中。雖然我希望這樣做，但出於個人考慮，我可能無法參加完整的兩個月。儘管如此，我打算在任何時間都在那裡。

1.將資訊理論概念應用於電腦器和腦模型。資訊理論中的基本問題是在嘈雜的信道上可靠地傳輸資訊。電腦器中的類似問題是使用不可靠元件的可靠計算。這個問題已經由馮諾依曼研究的謝弗行程元件(Sheffer stroke elements)，香農(Shannon)和摩爾(Moore)研究了繼電器(relays)；但仍有許多懸而未決的問題。幾個要素的問題，類似於信道容量的概念的發展，對所需冗餘的上限和下限的更尖銳的分析等都是重要的問題。另一個問題涉及資訊網路理論，其中資訊在許多閉環中流動(與通訊理論中通常考慮的簡單單向信道形成對比)。延遲問題在閉環情況下變得非常重要，似乎有必要採用一種全新的方法。當已知消息集合的過去歷史的一部分時，這可能涉及諸如部分熵(partial entropies)之類的概念。

2.匹配環境——自動機的大腦模型方法。通常，機器或動物只能適用於在有限的一類環境中操作。即使是複雜的人類大腦也首先適應其環境的簡單方面，並逐漸建立起更複雜的特徵。我建議通過一系列匹配(理論上)環境的並行開發來研究腦模型的合成。這裡的重點是澄清環境模型並將其表示為數學結構。探索定理、寫音樂或下棋。我在這裡建議從簡單開始，當環境不是敵對(只是漠不關心)或複雜時，並通過一系列簡單階段向這些高級活動方向努力。[2]

三、香儂的機器學習演示

香儂的「忒修斯Theusus」早期機器學習演示，可以看1950年AT&T貝爾實驗室檔案和歷史中心7分23秒的影片《「忒修斯Theusus」早期機器學習演示》，See 18 mins 51 secs in for 27seconds.暨Demonstration of EarlyMachine Learning with 「Theseus」 By: Claude Shanon 「Father of Information Theory」AT&T Bell Labs. Shannon built his maze-solving mouse, Theseus, in 1950.，作者：克勞德·香農，AT＆T貝爾實驗室「資訊理論之父」。(http://cyberneticzoo.com/mazesolvers/1952-%E2%80%93-theseus-maze-solving-mouse-%E2%80%93-claude-shannon-american/)[4]影片用戶上傳2016年04月30日發布《克勞德·香農與早期機器學習》(https://v.qq.com/x/page/h0197a4p3s9.html)[5]

香農(Shannon)在1950年製造了他的迷宮滑鼠Theusus。

1952 – 「Theseus」 Maze-Solving Mouse– Claude Shannon (American)

內部零件顯示：N-S, E-W滑架，繼電器，Uni-selector，電動機以及其他電氣組件。Internals showing N-S, E-Wcarriage, Relays, Uni-selector, motors, amongst other electrical components.

1952年，克勞德·香農在一次會議上展示了他製造的一隻老鼠，不是滑鼠，而是一隻可以走迷宮的機械鼠。

這隻老鼠有三個輪子，一根磁鐵，以及銅線做成的鬍鬚。通過鬍鬚，老鼠可以感知是不是碰到了走不通的迷宮牆。迷宮地板背面有一個機械手臂，上面也有一個電磁鐵，這樣就可以移動機械手臂，帶動機械鼠在迷宮裡走動。

如果老鼠發現正對的牆走不通，就會退回格子中間，旋轉90度，去嘗試下一個方向，然後繼續行走。直到走到終點，由一枚金屬幣標識，老鼠停止。

這是老鼠走過的一條痕迹，記錄了老鼠的探索過程。

神奇的是如果把老鼠重新放回到起點，它會直接沿著正確的路走到終點。如果我們調整了中間的線路隔板情況，老鼠還是重新探索路線，正確走到終點。

這隻智慧的老鼠是怎麼實現的呢？原來，老鼠的腦子不是長在身上，而是長在迷宮板子的下面。香農在演示時掀開了迷宮的底板，展示了機械手臂，還有電路設計。

在整個電路中，香農用50個繼電器控制機械手臂的移動，又用75個繼電器來記錄老鼠探索的每面牆是否能走通。繼電器是個什麼東西？現在的電腦早就不用這種零件了，而是採用電晶體，或者說由電晶體組成的積體電路，如記憶體條、CPU 等。繼電器的原理是這樣的，通過一個線圈接通與否實現一個電磁鐵，通過電磁鐵來吸引一塊鐵片，來控制一個線路的開關。如圖所示，通過橙色的電磁鐵，就能控制燈泡的線路是否接通了。

通過一個繼電器，我們就可以控制電路的開關，而電路的開關，就可以表示0和1兩個狀態。我去年在看《矽谷百年史》時，曾經好奇誰將開關電路和二進位等價起來的。結果發現香農在1938年寫的碩士論文，就是講繼電器開關電路和布爾代數的等價關係，布爾代數即與或非，又是和二進位可以等價的。所以他在迷宮老鼠中用繼電器作為狀態記錄，也就毫不奇怪了。

香農給老鼠起名叫「忒休斯」。希臘神話中，忒休斯破解了迷宮，殺死了怪獸。我們思考一個問題，這隻老鼠有智慧嗎？這要看你對智慧怎麼定義了。香儂這個實驗中理解的智慧，就是具有學習能力。這隻老鼠顯然是學習了迷宮路徑，能夠重複正確的路徑。那它的智慧是怎麼來的呢？靠的是通過繼電器記錄了路徑狀態，也就是說，老鼠通過掌握了更多的數據，從而實現了這種智慧。這裡甚至沒有牽涉對數據的處理，僅僅是記憶這些數據，就可以擁有智慧了。

四、機器學習演示的智慧

香農1948年關於資訊的觀點，即資訊是一種消除隨機不確定性的東西。香儂的資訊理論闡釋出了通訊過程中資訊的測量，是通過熵的確定性——概率越大則能傳播的資訊就越少。Reprinted with corrections from TheBell System Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October,1948. A Mathematical Theory of CommunicationBy C. E. SHANNON

「忒修斯Theusus」早期機器學習演示(影片)中的智慧，靠的是通過繼電器記錄了路徑狀態。假手「Theseus」 Maze-SolvingMouse老鼠走過的一條痕迹，記錄了老鼠的探索過程。記憶這些狀態數據，從外部功能上表現出智慧，這也是對智慧的模仿。同時，這些狀態數據消除了道路的不確定性。

數據不是因果關係，而是相關關係。數據可以消除不確定性，這是香儂機器學習的本質。現在所謂的人工智慧，並不是真正的智慧，只是在海量數據中做減法。這樣的智慧，還遠遠稱不上智慧。人的智慧其實是一樣的。人做判斷的時候，靠經驗和知識從所以可能的選擇裡面篩選一個。經驗越豐富，知識越紮實，判斷就越準確。原我們的科研人員，能夠踏實起來，模仿也好，實現也罷，要做非常具體的實驗，而不是到處宣講自己空想的語文描述。

推進人類文明發展的引擎

《資訊簡史》詹姆斯•格雷克著；高博譯

在《資訊簡史》里讀資訊本質的回歸史，重新認識你所在的行業(http://www.ituring.com.cn/article/110865#)百萬級銷量科普暢銷書作家詹姆斯•格雷克七年磨一劍，帶來一段人類與資訊遭遇的波瀾壯闊的歷史，告訴我們如何在資訊時代的資訊爆炸中生存。格雷克不僅在書中細緻還原了歷史細節，通俗解釋了各種理論，還生動刻畫了幾位不為大眾所知的人物：可編程電腦先驅、超越時代的查爾斯•巴貝奇，第一位程式設計師、詩人拜倫之女愛達•拜倫，電腦科學之父、天妒英才的阿蘭•圖靈，以及全書的主人公、資訊理論之父克勞德•香農。

推進人類文明發展的引擎在哪裡(666字)

最簡單的教育是把知識、技能、思想等一切人事物，變成文字來教學和考核；最捨本逐末的教育莫過於深陷媒介形式，只為文化知識。世界是複雜的，語言文字並非現實世界，只能傳遞資訊。語文思維教育過來的學生，只會識字讀書背答案、只會語言文字思考表達。看慣了科學和技術提法的很多領導、偽專家、不懂科研的門外漢，提出要發展基礎科學，基礎科學和應用科學都要有一定佔比，把科學和技術割裂起來理解並執行，就是因為他們不懂科學。

科學傳入中國一百多年，沒有被國人普遍接受和普及。科學目標是找到自然社會規律，科學方法是測量和實驗，科學精神是質疑和假設，科學理論的本質是科學家用數學工具對自然社會做從出定性定量解釋。科學知識有別於文化知識。科學研究必須做實驗測量，離不開各種技術手段；形成科學規律，必須用嚴格的數學形式化方法做表達。科學的內涵是實驗證明，某條規律可以被人類觀察到並能測量，其實驗方法(包括理論驗證方法)是可以被證明為真實或虛偽的。這個過程中，闡釋方法的科學性和實驗證明的技術性是統一的。如果教材、學校、教育者始終是語文化教學、運作，那師生永遠只能採用語言文字書面表達方式把一切自然社會弄成紙面文字。數學和技術，一個是思維上的高級工具，一個是動手能力現實中物理世界的高級工具。止步於語言文字，則永遠二流。

再過百年推進人類文明的引擎自哪裡？！秦隴紀希望有多極引擎共同驅動，中國、美國、歐洲必定是多級引擎之一。生存和發展並非先後確定，而是相輔相成。希望生存檔次的事務和問題，吃住行教醫等涉及人生生老病死的環節，遠遠少於發展事務，留出更多時間和空間用來發展。

科學是璀璨的人類文明之一，但有其範圍並非萬能。科學Sciences公號不持有任何傾向性，只提供大家的學術觀點。《科學Sciences》倡導"理性之思想，自主之精神"，專註於學者、學界、學術的發展進步，不定期向您推薦人類優秀學者及其文章。歡迎科學、工程、技術、教育、傳媒等業界專家投稿、分享、讚賞、支援科普、加入數據簡化社區！~~

—————————–

社區：「數據簡化DataSimp、科學Sciences、知識簡化」新媒體聚集專業領域一線研究員；研究技術時也傳播知識、專業視角解釋和普及科學現象和原理，展現自然社會生活之科學面。PhDS01秦隴紀發起，期待您參與各領域；科學技術論文投稿郵箱[email protected]。只會敲門吶喊，不能推動領域；只有空想設計，無法實現生產，就虛度一生。工程技術能力至關重要，秦隴紀與君共勉之。歡迎科學、工程、技術、教育、傳媒等業界專家投稿、加入數據簡化社區！歡迎大家分享、讚賞、支援科普~~

—————————–

(註：有關素材[1-x]圖文版權歸原作者所有。)

素材(1.5k字)

1. J.McCarthy, Dartmouth College; M. L. Minsky, Harvard University; N. Rochester,I.B.M. Corporation; C.E. Shannon, Bell Telephone Laboratories. A PROPOSAL FORTHE DARTMOUTH SUMMER RESEARCH PROJECT ON ARTIFICIAL INTELLIGENCE. [EB/OL],stanford, http://jmc.stanford.edu/articles/dartmouth.html l, August 31, 1955, visit date: 2019-06-07

2. J.McCarthy, Dartmouth College; M. L. Minsky, Harvard University; N. Rochester,I.B.M. Corporation; C.E. Shannon, Bell Telephone Laboratories. A PROPOSAL FORTHE DARTMOUTH SUMMER RESEARCH PROJECT ON ARTIFICIAL INTELLIGENCE. [EB/OL], stanford,http://www-formal.stanford.edu/jmc/history/dartmouth/dartmouth.html, August 31,1955, visit date: 2019-06-07

3. 秦隴紀. 人工智慧起源與發展正史. [EB/OL], 科學Sciences. http://weixin.qq.com/, 2019-06-06, visit date: 2019-06-07

4. 2010年AT&T貝爾實驗室檔案和歷史中心, 1952 – 「Theseus」 Maze-Solving Mouse – Claude Shannon(American) — Demonstration of Early Machine Learning with 「Theseus」 By:Claude Shanon 「Father of Information Theory」 AT&T Bell Labs. (7』23』』) http://cyberneticzoo.com/mazesolvers/1952-%E2%80%93-theseus-maze-solving-mouse-%E2%80%93-claude-shannon-american/,Shannon built his maze-solving mouse, Theseus, in 1950, visit date: 2019-0925Wed

5. 影片用戶上傳. 《克勞德·香農與早期機器學習》. [EB/OL],騰訊影片, https://v.qq.com/x/page/h0197a4p3s9.html,轉載於2016年04月30日發布, visit date: 2019-0925Wed

6. 首發於瓦利哥的機器歲月. 桑文鋒(SensorsData.cn神策數據創始人&CEO).從香農的老鼠到大數據. [EB/OL], zhihu, https://zhuanlan.zhihu.com/p/26784043,visit date: 2019-09-25Wed

x. 秦隴紀. 人工智慧起源與發展正史; 西方哲學與人工智慧、電腦; 數據科學與大數據技術專業概論; 人工智慧研究現狀及教育應用; 數據資源概論; 文本數據溯源與簡化; 大數據簡化技術體系; 數據簡化社區概述. [EB/OL], 數據簡化DataSimp(微信公眾號),https://dsc.datasimp.org/, http://www.datasimp.org, 2017-06-06, visit date:2019-06-25Wed