最高增強至1440p，阿里雲發布端側實時超分工具，低成本實現高畫質
近日，阿里雲機器學習PAI團隊發布一鍵端側超分工具，可實現在設備和網路頻寬不變的情況下，將移動端影片解析度提升1倍，最高可增強至1440p，將大幅提升終端用戶的觀看體驗，該技術目前已在優酷、夸克、UC瀏覽器等多個APP中廣泛應用。
觀看以上影片不難發現，左側畫面和右側畫面的清晰度有極大差別。事實上，兩側畫面的影片播放源完全相同，區別在於右側畫面使用了特殊的「一鍵超分」工具，從而實現清晰度從540p到1080p的華麗轉身。
超分，即「超解析度」，是指通過深度學習方式將低解析度圖片或影片的清晰度提高，獲得更高解析度，進而達到更好的觀看體驗和識別準確率。通過特殊的卷積神經網路（CNN）對已知的高解析度資源進行學習，即可實現對任意低解析度影像和影片資源進行超分處理的模型。
在移動互聯網普及並成為主流的今天，用戶對「上網衝浪」的體驗愈加關注，更快速、更高清也成為APP開發者們不懈的追求。在「更高清」這個方向，純軟體化的優化方案——端側超分進入開發者的視野：通過在手機、平板電腦等移動設備上運行超分演算法，彌補設備硬體、網路頻寬、原始素材等客觀條件限制，進而獲得高畫質的影像和影片。但是，受制於端側算力、設備兼容等問題，端側超分方案規模化落地並不像想像中簡單。
阿里雲機器學習 PAI 團隊近日發布搭載 PAI-AISR 模型的一鍵端側超分工具，通過對模型進行量化剪枝等加速優化、以及對端側多設備（CPU/GPU/NPU）進行異構計算和記憶體I/O優化等，具備以下優勢：
-
超高畫質體驗：在移動端可將影片解析度增強至最高1440p，同時進行鋸齒和底噪抑制、色彩增強等提升，極大改善觀看體驗。
-
體積小，易適配：PAI-AISR 演算法最低只需要 50KB，不佔空間；功耗低至每小時50-100ma。
-
低延遲，高幀率：低至 20ms 以內的處理延遲，以及高達 30 fps 的幀率，適用於直播、短影片、影片通話、實時監控等各種場景。
-
多平台多機型兼容：支援跨平台使用，在 iOS 系統和Android系統環境下均無縫連接，甚至在 IoT 設備（如攝影機、電視機、影片會議設備等）均可平穩支援。
-
數據格式兼容：支援所有主流圖片和影片格式。
對移動APP開發者來說，PAI端側一鍵超分工具主要具備以下兩點價值。首先，使用端側超分可以減少數據下發過程中CDN的消耗，實現降本提效。其次，當客戶端網路不穩定或者頻寬受限（例如處於3G狀態下，或者處於地鐵、電梯等訊號不穩定的環境中），導致影片播放卡頓時，端側超分技術可以讓終端用戶的瀏覽體驗更順滑。同時由於整個推理過程在端側進行，避免了雲端推理成本高、時延長等問題的出現。
目前，PAI一鍵端側超分方案已經在優酷、夸克、UC瀏覽器等多個移動應用成功落地，在不斷提升終端用戶體驗的同時，帶來應用研發效率的提升。
