HMS Core機器學習服務圖像超分能力，基於深度學習提升新聞閱讀體驗

• 2022 年 3 月 28 日
• 筆記

在移動端閱讀資訊時，人們對高分辨率、高質量的圖像要求越來越高。但受限於網絡流量、存儲、圖片源等諸多因素，用戶無法便捷獲得高質量圖片。移動端顯示設備的高分辨率圖片獲得問題亟待解決。不久前，HMS Core新聞Demo App針對新聞垂域的閱讀體驗做了一系列更新優化，其中就包括圖像超分。

圖像超分辨率（Super Resolution）指的是從給定的低分辨率（LR）圖像中恢復高分辨率（HR）圖像的過程，是計算機視覺圖像增強領域重要的研究方向。HMS Core新聞Demo App為解決用戶觀看新聞資料的過程中圖片不清晰的問題，使用了機器學習服務的圖像超分能力。用戶在新聞閱讀界面點擊圖片，可以看到圖片菜單顯示「使用ML服務進行圖像超分」，再點擊就能快速收穫高質量圖片。它還支持圖片的下載和保存。同等大小的圖片，通過圖像超分後分辨率普遍提升100%~300%，能夠有效解決圖片因低分辨率而影響用戶瀏覽體驗的痛點。

技術背景

那麼，HMS Core機器學習服務圖像超分能力是怎樣實現的呢？

一般來說，對於圖像分辨率不足的問題，傳統的解決方法主要是**基於插值的超分辨率重建和基於退化模型的超分辨率重建。

基於插值的超分辨率重建方法通常提供過於平滑的重建圖像，是通過最近鄰插值法、雙線性插值法和雙立方插值法來補充失去部分的像素細節，從而來增強圖像的分辨率。

基於退化模型的超分辨率重建方法則是從圖像高分辨率到低分辨率的降質退化模型出發，通過提取低分辨率圖像中的關鍵信息，並結合對未知的超分辨率圖像的先驗知識來約束超分辨率圖像的生成。

然而傳統解決方法存在計算成本高、性能不穩定等問題。隨着人工智能，尤其是深度學習在計算機視覺中的廣泛應用，人們開始探索使用智能的方法來克服傳統技術的諸多弊端，比如基於深度學習的超分算法。

基於深度學習的方法就是利用大量的訓練數據，學習低分辨率圖像和高分辨率圖像之間某種對應關係。然後根據學習到的映射關係來預測低分辨率圖像所對應的高分辨率圖像，從而實現圖像的超分辨率重建過程。

技術優勢

HMS Core機器學習服務的超分辨率算法基於深度神經網絡，依託硬件的神經網絡加速器，提供了適用於移動終端的1x和3x的超分能力。1x超分是在分辨率不變的情況下去除壓縮噪聲，獲得更加銳利、乾淨的圖片；3x超分在有效抑制壓縮噪聲的同時，使用智能方法將其放大，令其分辨率更高，提供3倍的放大能力，得到更加清晰的細節紋理。

並且超分辨率算法依託華為手機強大的NPU芯片，對最大800×600的圖片進行超分時，僅需不到600毫秒的時間，相比於純CPU計算，速度提升了近50倍。超分辨率API的附加ROM、RAM消耗也非常小，內置於華為手機中，可以在有效減小應用程序尺寸的同時讓應用更加輕便。

由此得知，HMS Core機器學習服務圖像超分能力在計算機視覺中的廣泛應用，具有高畫質、高速度、超輕便的技術優勢，可有效抑制壓縮噪聲，節省存儲和流量。在圖片分辨率不足的情況下，大大改善小圖片放大瀏覽時的體驗。

圖像超分辨率除了在新聞閱讀場景中提升閱讀體驗，還可應用於醫學成像、天文觀測、生物信息識別等領域，HMS Core機器學習服務圖像超分能力也將持續進行技術革新，為更多行業提供實用高效的解決方案。

了解更多詳情>>

訪問華為開發者聯盟官網
獲取開發指導文檔
華為移動服務開源倉庫地址：GitHub、Gitee

關注我們，第一時間了解 HMS Core 最新技術資訊~