傳紙條被發現，一看竟寫著…

• 2019 年 10 月 8 日
• 筆記

不知道大家以前有沒有用過 / 見過這個玩意…

小編小時候寫的一本筆記一直保存到了現在…

當年偷偷寫的日記和小秘密，為了防止被同學老師家長偷看，都寫在這樣的本子裡面。這種本子的密碼少則四五位，多的有七八位，除非知道這個密碼鎖的密碼，不然根本無法打開。

上學的時候誰又沒有在課上偷偷地傳過小紙條呢？可能很多人還挺享受那種在老師眼皮子底下偷偷摸摸說悄悄話的快感。其實說起來，這種「傳紙條」應該也算是大家最早的對保密通訊的需求了。為了防止傳紙條的途中被其它同學截獲獲取裡面的內容，可能有的人還要用密碼來加密一下。

傳紙條前記得確認一下…

從通訊的角度來講，一個好的編碼方案可以在有效傳輸資訊的同時大大降低傳輸所需要的代價。怎麼才能科學地理解通訊和編碼，以下小編將從字元編碼的角度來介紹幾種歷史上著名的編碼方案以及資訊熵的概念。

摩爾斯電碼

Morse Code

1837 年，美國人塞穆爾·摩爾斯 (Samuel Morse) 發明了電報，並和艾爾菲德·維爾 (Alfred Ville) 一起，共同發明了一套電碼以供電報配套使用。這套電碼就是赫赫有名的摩爾斯電碼 (Morse alphabet)。

這種古老而簡單的訊號程式碼主要由兩種基礎訊號組成：短促的電訊號「·」（讀作「嘀」）和保持一定時間的長訊號「 —」（讀作「嗒」）。電影電視劇里勤奮的發報員每天嘀嘀嗒嗒響個不停就是在發電報。

勤奮的發報員在發電報

按照點碼錶所列出的組合，摩爾斯電碼可以構成不同的字元，比如字母、數字和常用的標點符號：

摩爾斯電碼表

這些字元串連起來就組成了單詞，單詞串連變成句子。

每個不同的單位之間需要一定的停頓時間，否則就會引起歧義。比如「h」是「····」，而「i」是「··」，如果沒有停頓，連續兩個「i」就會是「····」，跟「h」就混淆了。

不同單位之間停頓的時間不相同。嘀=1t，嗒=3t，嘀嗒間=1t，字元間=3t，單詞間=7t。

簡易電報機

著名的國際通用海灘求救訊號就是採用摩爾斯電碼，運用燈光（比如手電筒）向遠處發射三短三長三短的光，即「··· ——— ··· 」。換成對應的字母也就是「SOS」。至於為什麼要採用這樣的一組光——當然是因為最簡單最容易辨識啊！

閱後作業：請對小編說出以下摩爾斯電碼的解碼文：

·—·· ·· ···· ·— ·· ·—·· ·

ASCII 碼

ACSII Code

20世紀，隨著電腦的誕生，編碼在應用階段上獲得了迅速的發展。由於笨笨的電腦只能存儲二進位數（高電平為1，低電平為0），人們決定開發一套通用的二進位編碼規則來相互通訊。

就這樣，由美國國家標準學會制定的 ASCII (美國資訊交換標準程式碼,American Standard Code for Information Interchange) 應運而生。

ASCII 碼能夠用 7 個比特來表示不同的字元。每個 bit 可以有 0 和 1 兩種狀態，因此 7 位二進位數能夠表示 128 種不同的字元，也就是表中的前面 0~127 種。裡面包含了所有英文文字表達所需要的字元，英文國家們表示很滿意。

但這遠遠不能滿足廣大的非英文國家的需求。他們表示很不開心並增加了一個比特的位置，佔領了後面的 128 個空位。於是，從 128 到 255 的這 128 個字元被用來表示他們的字母、符號和形狀，這些被稱為「擴展字符集」。

圖中碼值為十進位形式，電腦里的形式是對應的二進位數

即使後來產生了各種花里胡哨的電腦編碼規則，ASCII 碼以其優秀的實用性，仍然保留了下來。它通常保留在各種編碼規則的最開頭，佔據最前面的 128 個位置。

在人看來非常簡單的單詞，在電腦眼中就變成了一大堆 0 和 1 的組合。當然，由於電腦擁有強大的處理能力，這些數字也並不成問題。

閱後作業：參考下圖，解碼以下 ASCII 碼文（一行一字）：

01101110 01101001

01101000 01100101 01101110

01111001 01101111 01110101

01111000 01101001 01110101.

GBK 標準

Chinese Internal Code Specification

後來，電腦終於來到了中國人民的手中。然而，大家發現 ASCII 碼的 256 個坑位已經全部被佔用了。

但漢字總不能都用拼音表示吧，廣大 l n 不分的南方人民表示不同意。。。

於是，優秀的中國選手自己制定了一套叫做 GBK（漢字內碼擴展規範）的編碼方案，用兩個位元組來表示一個漢字。

對於當時的電腦而言十分複雜的漢字 @井口皓太

這套規則兼容了前面的一些編碼方案，用後面空餘的位置收錄了 21003 個漢字，日常使用完全夠夠的了~

不過，當時想要在電腦上顯示漢字，就必須裝上一個漢字系統。而當時的大多數人對電腦仍然是一竅不通的，回去裝系統發現全是 bug 而且看都看不懂。。。

而且，不同的國家都開發了一套自己的編碼方案和文字系統，導致不同國家的人之間無法互相通訊。因此他們制定了一套統一的編碼規則——Unicode。

Unicode 碼

Unicode

Unicode 又稱萬國碼、統一碼，為解決傳統字元編碼方案的局限而產生。聽起來就很厲害有沒有！

它把所有語言的字元都統一到一套公用的編碼，有一百萬多種字元，就像是一部世界語言通用字元字典。因此，在 Unicode 中，一個字元需要用三個位元組來表示。

像一些簡單基礎的字元，比如 a、b、c 等等，1 個位元組就能夠表示了。但是按照 Unicode 的規則，電腦必須再讀取兩個空位元組填充在高位元組位。比 GBK 多 1 個位元組，比 ASCII 多 2 個位元組。。。

所以這個神級裝備還不如新手裝備的嗎。。

用來擴展字元編碼的 Unicode 在處理一些簡單的字元時遇到了麻煩 @葉天宇yetianyu

於是，智慧的人們不堪其辱地研發了 UTF-8 這種專門針對 Unicode 的可變長度編碼。它將Unicode 編碼進行再編碼，再進行傳輸，可以自動變長節省空間。

UTF-8 也成為現在程式猿們鍾愛的一種編碼形式啦~

資訊熵

Information Entropy

在上面的內容中，我們介紹了很多編碼的內容。但是同一份內容，無論用什麼編碼來進行「敘述」，其本身所包含的資訊應該是不變的。

資訊，時間與知識 @ alcrego

在資訊理論中，人們使用熵（entropy）來度量接收到的每條消息中包含的資訊的平均量，這也被稱為資訊熵、信源熵等。這裡的「消息」其實已經不是我們日常發條微信，發條語音的那種消息了，而是可以更廣泛地理解為一件事情發生的概率分布，或者數據中的事件、樣本或者特徵。

和熱力學裡面的熵類似，這裡的資訊熵同樣可以理解為對不確定性的一種度量，因為一個消息來源越隨機，那麼它的熵就越大。就像投擲一枚硬幣，其正反面出現的概率都相同，那麼這時候它的熵就最大。反之，如果這枚硬幣很特殊，它的正面更重一些，因此在投擲以後，它正反兩面出現的概率不再一致，它的熵就會減小。這裡的想法很簡單，因為正反兩面概率不再一致，這裡發生了以前不會發生的事情，給我們提供了更多的資訊，減少了不確定性。

拋一枚硬幣決定生死，雖然人們總想要在消除不確定性以後往好的那一面發展，但現實卻不一定。。。

在很多人見到資訊熵的定義的時候一定都會有疑惑，明明是挺簡單的一個概念，為啥計算的公式這麼複雜呢？又是對數又是相乘還要求和。

資訊熵計算規則

How to calculate entropy

其實藏在這個公式的背後的假設非常簡單：1. 資訊熵的單位。2. 可加性。

無論怎麼定義資訊熵，我們都需要一個單位。一般情況下我們選取的單位為 bit，比特。也就是 H2(1/2, 1/2) = 1。實際上，資訊熵的定義函數對於連續性也有一定的要求。對系統施加微擾，假設拋一枚硬幣正面朝上的概率變為了 0.50000001，而反面朝上的概率變為了 0.49999999。那麼此時拋硬幣這件事情包含的資訊熵應該還是約為 1 bit。而不會變成 2 bit 或者其他的數值。用數學化一點的語言來說就是，H2(p, 1-p) 是關於 p 的連續函數。

丟兩枚硬幣的情形

在有了資訊熵的單位以後，我們還需要知道不同系統之間的資訊熵是怎麼相加的，就像小時候學加法的時候老師教小朋友 2 個蘋果加 3 個蘋果等於幾個蘋果一樣。只不過這裡關於資訊熵的「加法公式」，會稍微比起 2 + 3 = 5 麻煩一點點。

我們需要明確不同系統之間的資訊熵是怎麼計算的

對不同系統的資訊熵進行求和的過程可以這麼理解，還是用拋硬幣這個例子，只不過我們這時候要拋兩個硬幣了。當然，我們希望資訊熵的定義能夠保證這時候對應的為 2 bit。那麼能不能做到呢？我們先完全不管第一枚硬幣的正反結果，因為對於第一枚硬幣的情況一無所知，那麼這時候的系統其實就相當於只拋一枚硬幣了，當然此時的資訊熵就是 1bit。此時我們再單獨看第一枚硬幣帶給我們的資訊熵，其同樣為 1bit。所以在資訊熵的定義過程中，要讓其具有系統的可加性。也就是

Hm(p1…pm) = Hm(p1+p2, …pm) + p H2(p1/p, p2/p)

其中 p = p1 + p2.

在有了這兩條以後，我們就能推導出資訊熵的公式只能是上面對數的形式了。[6]

那些說不完的秘密

Other Interesting Stories

熵的故事其實最早要從物理上開始說起，其度量了分子的微觀狀態的混亂程度。

何謂「混亂」？

在資訊的世界中，熵越高，其可能性越多，則能傳遞越多的資訊；熵越低，其可能性越低，則能傳遞的資訊越少。比如你說了一句話，「今晚夜色真美」，裡面包含了很多的可能性，熵比較高，我們一般就可以說這句話「資訊量很大」。

不過我們日常生活中對於資訊，或者資訊量很大還有另外一種理解。熵是對不確定度的度量，獲取資訊等於消滅熵。就像你讀了「中科院物理所」推送的文章一樣，學到了很多東西，資訊量很大。這個其實並不是說我們文章模稜兩可，充滿了可能性，而是在說你心裡對一些事物是比較模糊的，在閱讀完文章以後，消滅了這種模糊性，獲得了資訊。

回到我們前面敘述的那麼多編碼中來，一段數據經過編碼以後被無損地壓縮了，資訊不變，但是長度變短了，這也就意味著我們更難預測每個字元的下一個字元，因此它的資訊熵會增加。因為一個固定長度的消息其資訊熵有上限，這也就是說消息壓縮存在著上限，我們不能無限制地對消息進行壓縮。

如果不斷地用壓縮軟體去壓縮一個文件，我們甚至會發現壓縮包會變得越來越大。

在資訊熵的背後還有點小故事。在香農提出這個概念以後，馮諾依曼發現了其與物理學上的熱力學熵概念存在相同之處，從而建議香農取名為「資訊熵」。不過也有傳聞說取這個名字的理由是這個熱力學名詞別人不懂，容易被唬住。[7]

* 圖片均來源於網路

* 參考文獻與鏈接：

[1] 摩斯密碼到底是怎麼回事？普通人能學會嗎？

[2] 百度百科 – ASCII碼

[3] 最為透徹的utf-8、unicode詳解

[4] Unicode 編碼理解

[5] 字元編碼的故事

[6] 關於這中間推導的細節詳見 Handout Mode 的 Application of Information Theory, Lecture 1, Basic Definitions and Facts，該文檔裡面還介紹了資訊熵定義的其它一些性質以及證明。Witten 在去年也寫過一個關於資訊熵和資訊理論的簡短介紹（A Mini-Introduction To Information Theory），裡面有和物理聯繫的更緊密一些的例子，並介紹了資訊熵量子化的版本和應用，詳見 arXiv:1805.11965

[7] Information Entropy – wikipedia

編輯：Cloudiiink