影像的重頭戲核心工程師詳解小米10 Pro AI相機

2020 年 2 月 19 日
資訊

近段時間發布的小米10系列影像能力得到了頗多關注，其中小米10 Pro參與了DxOMark測試，得分為124分，是目前DxOMark排行榜第一名，表現優秀。

不只是後置一億主攝+2000萬超廣角+800萬長焦+1200萬人像四攝的強大硬體，小米10 Pro AI演算法方面的發力也彌足重要，AI相機是小米AI影像能力全面提升的一個代表作。

2月19日，小米AI相機核心研發工程師汪軒然發布了關於小米10 Pro AI相機的詳細技術帖，介紹了其背後隱藏的一些技術難點和挑戰。

據小米聯合創始人，副董事長林斌介紹，汪軒然是2010年就加入小米的軟體技術大咖，兩年多前他開始負責小米相機的軟體演算法研發，這兩年小米影像的技術進步，與該團隊的貢獻密不可分。

接下來就讓我們一起了解一下，以下是小米汪軒然原帖全文：

小米10發布會上，新一代小米AI相機是小米10pro中AI影響的一個重頭戲，是小米AI影像能力全面提升的一個代表作。作為這個功能的核心研發工程師，我來給大家介紹一下這個特性背後隱藏的一些技術難點和挑戰。

AI相機作為一個概念並不新鮮，早在小米8的時代我們就推出了第一代小米AI相機。傳統的AI相機的做法，通常分成兩個部分，一是識別，二是後處理。

前者通過神經網路來“認知”當前拍攝的場景，後者根據不同的場景，使用一些傳統的方式來針對特定場景做一些優化，比如加一些特殊的濾鏡。所謂“AI“，其實只有前面的識別部分跟AI掛鉤。這種方式最大的問題是只能針對特定的幾個預設好的場景來做優化，並且針對同一個場景，只能採用一樣的模板來處理，而沒有針對當前的色彩，光影等做一些更有針對性的局部優化，效果會大打折扣。

為了解決這一問題，我們團隊開創性的將傳統的場景感知拓展成為全方位的色彩、對比度、光影等內容感知，使用深度神經網路對整個畫面進行全局和局部的分析，獲取到最優的畫面效果，並且實時地對畫質進行增強。所以AI大片是覆蓋所有場景的優化。可以說，新的AI相機，對於同樣的一片草地，在不同的光照，角度，甚至背景下，都會有不一樣的優化效果。並且我們的技術把識別+處理合二為一，一站式的實現了AI修圖師的效果。

這個技術最大的挑戰在於計算量。眾所周知，針對影像像素處理的深度神經網路的計算量極高，對手機的計算能力是一個很大的考驗，而我們除了要實現預覽實時處理，所見即所得的效果之外，更“變態“的要求能針對一億像素的原片進行處理。

為了實現這兩個看似不可能的任務，團隊的攻城獅們對於神經網路的優化達到了每個四則運算都去細摳的程度。除了使用常見的網路減枝，網路壓縮的技術，我們還創造性地提出了一種新的基於導向圖的開關網路結構，這個網路不僅僅可以使得網路參數和計算量大幅下降，也可以滿足優化的多樣性要求（雜訊，亮度，顏色，對比度，高動態等等），最終得以將全新的AI相機展現給用戶。

除了攻城獅哥哥們的辛勤努力，新的AI相機也包含了團隊中很多設計師妹子們的心血。為了讓深度神經網路能完美的復現出修圖師的美化效果，我們給網路“喂“了數十萬張訓練數據，並同時做了多套效果，最終通過盲評，選擇了一個認可度最高的模型效果。

發布會的幾頁ppt，背後隱藏的是團隊每個成員日日夜夜的辛苦付出。小米影像技術起步的確有點晚，但我們一直都在很努力的往前跑著。在我們的眼中，沒有什麼友商，沒有什麼銷量，我們只想著怎麼用最新的技術來讓拍照變得更加有趣，讓每個人都能拍出一張好照片，藉此讓大家的生活能變得美好一點點，僅此而已。我們會繼續努力。

處理前