我們看到的「毅力號火星照片」:P過

火星也可CNN。

最近,人類剛給火星送去Linux系統。

幾小時之後作為回禮,火星給人類送來了新年第一張照片——由毅力號傳回的首張圖像。

但這照片充滿了濃濃的年代感:黑白的,像素還低於100萬。(待探測器完全啟動運行後,可拍攝更高像素的彩色照片)

這張「毅力號火星照片」 AI P過

什麼概念呢?大概就是從1999年開始,200萬像素的產品成為市場的主流。

不過沒關係,這些問題用AI來搞定。

這張「毅力號火星照片」 AI P過

不光上了色,還將像素提高了6倍以上。

那麼具體是如何實現的?

用CNN給火星上色

為了讓新年第一張火星照片具視覺衝擊力,一家CV公司Gado Image的研究人員簡單三步就給火星上了色。

首先,也是最關鍵的一步,圖像着色算法(Colorful Image Colorization),它利用CNN分析一組彩色圖像及其黑白版本的顏色。

這張「毅力號火星照片」 AI P過

這套算法最初由UC伯克利團隊提出,論文被ECCV 2016接收。

這張「毅力號火星照片」 AI P過

第一作者是一位華人Richard Zhang,現為Adobe研發工程師。

這張「毅力號火星照片」 AI P過

該算法通過多次前饋,最終接收到一張灰度圖像。用作者的話來說,就是 「幻化 「出一組似是而非、不一定正確的顏色填充到圖像中。

這張「毅力號火星照片」 AI P過

訓練數據很容易獲得,只需要將所有彩色圖像改成灰度,再將其與彩色版本配對,就能可以得到一次訓練,最終在ImageNet數據集上訓練了一百多萬張圖像。

研究人員曾將這套算法用到了歷史黑白照上。

這張「毅力號火星照片」 AI P過

由於機器着色並不一定準確,研究人員還根據1997年維京1號發佈的首張火星彩色照片,手動調節了照片的顏色。

這張「毅力號火星照片」 AI P過

最後,再利用圖像放大和增強技術,將圖像的像素提升了6倍。

這張「毅力號火星照片」 AI P過

效果實現主要依靠的是2017年谷歌大腦團隊提出的超分算法,將壓縮傳感原理與神經網絡結合起來。

這張「毅力號火星照片」 AI P過

這項技術首先故意將圖像弄得模糊不清,隨後神經網絡將他們與高質量的對應圖像進行比較,並學習兩者之間的關係。

這張「毅力號火星照片」 AI P過

用CNN給火星上色,你覺得效果如何呢?