我們看到的「毅力號火星照片」:P過
火星也可CNN。
最近,人類剛給火星送去Linux系統。
幾小時之後作為回禮,火星給人類送來了新年第一張照片——由毅力號傳回的首張圖像。
但這照片充滿了濃濃的年代感:黑白的,像素還低於100萬。(待探測器完全啟動運行後,可拍攝更高像素的彩色照片)
什麼概念呢?大概就是從1999年開始,200萬像素的產品成為市場的主流。
不過沒關係,這些問題用AI來搞定。
不光上了色,還將像素提高了6倍以上。
那麼具體是如何實現的?
用CNN給火星上色
為了讓新年第一張火星照片具視覺衝擊力,一家CV公司Gado Image的研究人員簡單三步就給火星上了色。
首先,也是最關鍵的一步,圖像着色算法(Colorful Image Colorization),它利用CNN分析一組彩色圖像及其黑白版本的顏色。
這套算法最初由UC伯克利團隊提出,論文被ECCV 2016接收。
第一作者是一位華人Richard Zhang,現為Adobe研發工程師。
該算法通過多次前饋,最終接收到一張灰度圖像。用作者的話來說,就是 「幻化 「出一組似是而非、不一定正確的顏色填充到圖像中。
訓練數據很容易獲得,只需要將所有彩色圖像改成灰度,再將其與彩色版本配對,就能可以得到一次訓練,最終在ImageNet數據集上訓練了一百多萬張圖像。
研究人員曾將這套算法用到了歷史黑白照上。
由於機器着色並不一定準確,研究人員還根據1997年維京1號發佈的首張火星彩色照片,手動調節了照片的顏色。
最後,再利用圖像放大和增強技術,將圖像的像素提升了6倍。
效果實現主要依靠的是2017年谷歌大腦團隊提出的超分算法,將壓縮傳感原理與神經網絡結合起來。
這項技術首先故意將圖像弄得模糊不清,隨後神經網絡將他們與高質量的對應圖像進行比較,並學習兩者之間的關係。
用CNN給火星上色,你覺得效果如何呢?