華為全新自研晶片揭秘:五大飛躍、黑夜變白晝
華為海思的麒麟晶片受阻,但在其他領域,華為海思並沒有止步,最近就推出了全新的越影AI ISP,用於物聯網智慧終端的新一代智慧影像處理引擎,突破了傳統ISP影像處理的極限,將畫質推向新的高度。
ISP是對影像感測器輸入的原始數據進行影像處理的首個環節,涵蓋數十種影像訊號處理演算法。為了適配各種不同的鏡頭和感測器,需要優化調整成百上千個參數,保證ISP兼備通用性和靈活性。
同時,ISP中眾多模組的演算法是相互影響的,演算法協同需要大量調試工作,極其複雜,也極具挑戰。
面對越來越高的場景複雜度,基於濾波等傳統影像處理技術在暗光、寬動態等場景下,畫質獲得顯著改進越來越困難,而且隨著參數庫逐漸龐大,調試越發困難,開發周期逐步拉長,畫質提升的投資收益率也越來越低。
近年來,利用AI進行影像增強,逐漸成為行業研究新熱點,並取得了顯著的進展,尤其是利用AI對靜態照片的優化,已經廣泛應用於高端手機的相機拍照,並獲得了不錯的效果。
上海海思利用在傳統ISP畫質技術上的積累和經驗,以及在端側AI架構和優化上的優勢,打造了新一代智慧影像處理引擎——越影AI ISP,將傳統畫質優化經驗與AI技術深度融合,相比海思上一代旗艦ISP在五方面實現了飛躍。
【超感光降噪】基於深度學習的智慧降噪,信噪比4倍提升
傳統的NR降噪技術採用多級時域/空域濾波,且濾波器設計融合了多種異構類型,收益已逐漸降低。
海思利用神經網路深度學習海量低照度場景圖片的雜訊和訊號的分布特性,訓練出一套智慧降噪的演算法模型,越影AI ISP可以智慧區分影像中的訊號和雜訊,實現低照度場景下的智慧降噪。
根據測試,越影相比海思上一代旗艦ISP,在低照場景下的影像信噪比可提升4倍。
【多光譜融合】採用專用硬體加速,實現0.01Lux低照全彩
低照場景下,RGB感測器感光能力急劇下降,導致彩色影像清晰度快速下降,無法同時兼顧影像細節與色彩。
在夜晚交通管理場景下,往往需要在閘口加裝爆閃燈來補充照明,容易造成光污染甚至影響駕駛員的行車安全
多光譜融合技術通過將可見光與紅外光感知資訊進行融合,在不增加光污染的同時,解決了低照環境下由於可見光感光能力不足所造成的細節損失的問題,實現影像色彩與細節的最佳平衡,最終使影像效果達到0.01Lux暗光全彩,細節紋理豐富。
【超級寬動態】自適應光線複雜變化,動態範圍提升12dB
寬動態技術是逆光場景下提升畫質的重要技術。
例如行車進出隧道口時,由於內外光強反差巨大,如何快速跟蹤不斷變化的光線,並準確對目標進行自適應曝光,是對自動和輔助駕駛安全非常重要的技術。
超級寬動態技術基於智慧識別目標場景,對價值區域進行自適應多重曝光,通過智慧演算法融合不同曝光時間的長幀、中幀、短幀的影像數據,使影像獲得暗、亮區域的完美融合:亮處不過曝、暗部細節不丟失,逆光場景所見清晰,暗光區域色彩飽滿、細節豐富。
根據測試,越影相比海思上一代旗艦ISP,在逆光場景下動態範圍可提升12dB,並且對場景跟蹤更迅速,能夠有效避免影像畫面瞬間過暗或過曝,在3幀以內即收斂至穩定狀態。
【超級穩像】6軸數字防抖,影片成像穩定性大幅提升
消費類攝像機廣泛應用於運動場景的拍攝,但在運動中相機的震動會影響最終成像效果。
視覺感知設備被安裝於自動或輔助駕駛汽車中,這樣的抖動造成的影像模糊甚至可能影響駕駛安全。
越影的超級穩像技術基於IMU 6軸感測資訊智慧分析運動姿態,通過精準補償修正動態影片,有效減少由於外部環境晃動或抖動對影片成像造成的影響,可大幅提升各種振動環境下的影片穩定性。
【多維度感知】多感知跨界融合,激發智慧視覺新潛能
越影支援RGB與雷達、紅外熱成像、3D結構光等多維度感知能力的融合,匹配紅外測溫、智慧支付、掃地機器人、雷達影片一體機等多種產品需求,可廣泛應用於交通管理、金融支付、工業視覺等多種業務場景。