第一次!手機GPU實現了桌面級光線追蹤效果

智慧手機的全面普及,以及手機性能的持續提升,帶來了手機遊戲市場的快速增長。即便在整個遊戲市場收入整體小幅下滑的2021年,手游表現依舊強勁。

Newzoo今年7月發布的《2021年全球遊戲市場報告》預測,移動遊戲市場將在2021年產生907億美元的收入,同比增長4.4%,這部分收入將佔全球遊戲市場總收入的一半以上。

手游市場的快速增長,除了玩手游更加便捷之外,體驗不斷接近桌游也是關鍵。最近幾年,光線追蹤進一步提升了遊戲體驗。2018年,NVIDIA 發布了十多年來在電腦圖形領域的重要創新——圖靈GPU架構,首次將光線追蹤帶入桌面級市場。

第一次!手機GPU實現了桌面級光線追蹤效果

2021年11月,Imagination也發布了代表其十年來推動光線追蹤在低功耗設備上應用的發展成果PowerVR Photon光線追蹤架構,首款GPU IP IMG CXT也一同亮相。這是業界首次在移動 IP上實現了桌面級品質的光線追蹤視覺效果,也是全球首款在移動端實現硬體光線追蹤的GPU。

雷鋒網(公眾號:雷鋒網)了解到,基於PowerVR Photon光線追蹤架構的終端產品有望最早在2023年上市,這就意味著,手遊玩家也將享受到光線追蹤遊戲體驗,手游市場的變革時刻也即將到來。

移動設備上的光線追蹤效果如何?

光線追蹤的目的是通過模擬真實世界中光線的表現,創造出與現實生活幾乎無異的三維(3D)場景。光線追蹤不是新鮮事物,在許多電影中已經有所應用,比如《玩具總動員4》的開場鏡頭中,雨坑裡反射的光線就是光線追蹤渲染的效果,《阿凡達》《頭號玩家》《失控玩家》等電影也運用了光線追蹤。

但是,光線追蹤在遊戲中還非常新鮮,這是因為光線追蹤涉及巨大的計算量,桌面級和移動設備的計算能力無法滿足所需的高計算負載。2018年,NVIDIA 的圖靈架構GPU打破了瓶頸,將光線追蹤技術引入桌面級遊戲市場。

實際上,Imagination在光線追蹤方面的研究也有大概十年的時間,2014年就採用28nm製程就設計測試了一款光線追蹤GPU。

「當時整個生態還沒有準備好,圖形API也沒有與光線追蹤相關的標準。」Imagination中國區戰略市場與生態副總時昕說,「從2018年桌面級GPU公司開始推出PC上的光線追蹤開始,整個業界生態開始投入,在2020年Khronos圖形標準化組織也推出了Vulkan API的光線追蹤Extension,我們認為推出具有光線追蹤功能的晶片的時機已經到來。」

將光線追蹤引入移動端,效果自然要向桌面級看齊。用一個直觀的例子來展示Imagination實現的光線追蹤效果,沒有光線追蹤的情況下,物體之間的反射並不能很好的呈現,比如圖片中的罐子,開啟光線追蹤功能後牆面的綠色從反光材料上反射出來,所有物體都具有柔和的反射效果。

第一次!手機GPU實現了桌面級光線追蹤效果

第一次!手機GPU實現了桌面級光線追蹤效果

開啟光線追蹤,陰影的部分也會變得非常柔和,幾乎看不見,但巧妙地增加了照明的真實感,更接近現實世界。

第一次!手機GPU實現了桌面級光線追蹤效果

第一次!手機GPU實現了桌面級光線追蹤效果

還有,光線追蹤中的全局照明,能為場景中的物體增加出色的環境照明效果,實現最真實的照明。

第一次!手機GPU實現了桌面級光線追蹤效果

第一次!手機GPU實現了桌面級光線追蹤效果

如何實現移動端光線追蹤性能和功耗的平衡?

實際上,想要在已有的移動設備上實現光線追蹤功能並非不可能。

「採用軟體方案也能在移動端實現光線追蹤效果,但那隻能在演示當中,如果應用於遊戲,效果一定不太好。」 Imagination技術前瞻副總裁Kristof Beets 指出,「因為這種方案沒辦法在功耗和效果之間達到一個很好的平衡,軟體仍然要使用大量的計算資源用於陰影和多邊形的貼圖。」

為了更直觀反映實現光線追蹤不同方案及效果的差別,Imagination對光線追蹤進行了分級,建立了光線追蹤等級系統(RTLS):

1級為現有硬體上的軟體解決方案。性能低,效率低。

2級增加了用於光線追蹤的第一部分硬體。與1級相比,可以將基本光線追蹤效果的效率提高44倍。

3級增加了用以處理髮射光線的硬體,與2級解決方案相比,可大大降低功耗。

4級增加了相干性聚集功能,針對複雜的桌面級效果大大提升了性能,讓其可以在移動端功耗預算下應用。

5級是一項未來等級,可在場景中實現更大數目的動態目標,並帶有額外的硬體加速。

第一次!手機GPU實現了桌面級光線追蹤效果

Imagination新發布的CXT GPU IP是一個RTLS 4級的光線追蹤產品,目前業界的其它移動端解決方案為RTLS 1級。Imagination能夠實現RTLS 4級光線追蹤的核心是IMG CXT-48-1536 RT3 內核具有三個光線加速集群(RAC),可提供總體高達1.3 GRay/s的性能,即使在移動設備低功耗的情況下,也能以1080P解析度實現30~60FPS的實時光線追蹤渲染,滿足日常遊戲高端需求。

第一次!手機GPU實現了桌面級光線追蹤效果

RAC包含了光線存儲(Ray Store)、光線任務調度器(Ray Task Scheduler)和相干性聚集器(Coherency Gatherer),並與兩個128寬的統一著色器集群(USC)緊密耦合,著色器集群有高速專用數據通路,可以實現高效且功耗最低的光線追蹤部署。

時昕解釋,「很多光線追蹤演算法用傳統的方法實現效率很低,用過專門的硬體單元,比如RAC,效率成倍提升。」

Imagination給出的數據顯示,在光柵化圖形處理性能方面,最新的CXT與Imagination的上一代GPU IP相比,計算、紋理和幾何性能都提高了50%。

第一次!手機GPU實現了桌面級光線追蹤效果

功耗方面,得益於低功耗超標量(superscalar)架構可在低時鐘頻率下提供高性能,從而實現更高的幀率功耗比(FPS/W)效率,Imagination影像壓縮(IMGIC)技術也可以大幅降低頻寬需求。

高性能和低功耗看似對立,但實際並不矛盾。

「以前在複雜場景的光照效果,包括反射、陰影、全局照明等,都要靠著色器一個個去模擬計算,我們的CXT把渲染的負載轉移到更為專用的硬體上面,效率更高的同時實現更低功耗。」 Kristof Beets解釋。

當然,討論光線追蹤的性能和功耗不能拋開技術路線。光線追蹤有兩種方式來實現,一種是用光線查詢的方式,一種是用光線管線的方式,這兩種方式都需要計算10億條及更多數量的光線。

光線管線的方式是計算光源發射出的光子,碰到場景當中物體的反射、折射等反應,最終達攝像機位或者遊戲玩家的眼睛。光線查詢方式就是反過來,從攝像機位或遊戲玩家的角度,計算出光源。

光線查詢浪費的計算比較少,所以有功耗優勢,但是技術難度也更大一些。目前很多宣稱有光線追蹤技術大部分是用光線管線實現,Imaginatiom同時支援光線管線和光線查詢兩種方式,客戶和合作夥伴可以自由選擇。」時昕表示。

光線追蹤普及的關鍵是生態

Kristof Beets說,「基於我們十多年在光線追蹤方面的投入和積累,我們可以推出RTLS 5級的產品。之所以現階段推出RTLS 4級產品,主要是出於市場考量。我們跟市面上的光線追蹤開發者溝通後發現,如果我們成為市場上唯一提供RTLS 5級光線追蹤硬體的公司,不會有多少開發者來開發相應的應用。」

先推出RTLS 4級光線追蹤產品培育市場,比如說遊戲的3D引擎、遊戲開發者,再慢慢把光線追蹤市場做大。Imagination推出GPU IP的同時也推出了軟體開發套件PVRTune工具,可以支援開發者查看底層的光線追蹤計數器,例如:每秒的光線數、包圍盒測試器負載、快取命中率、每秒遍歷(遞歸)的光線數等,還可以模擬CXT的功能和行為,降低使用者門檻。

這也容易理解,Imagination在2014年就測試了其光線追蹤的技術和硬體,但並沒有推出產品的原因也是生態原因。處理器的成功離不開整個生態,包括介面、工具等。Imagination作為IP提供商,並不直接出售晶片及解決方案,想要直接推動光線追蹤的發展難度很大,只能等有一定的生態基礎後,再推出相關產品。

「在標準化方面,我們大量參與了與微軟的溝通和討論,在此基礎上,再繼續提升GPU架構。」Kristof Beets說。

未來幾年,移動市場上的光線追蹤產品仍然會在軟體層面,直到硬體方案進入市場並呈現出巨大的優勢。

那時候,Imagination不僅能推動移動和嵌入式終端光線追蹤的發展,也能幫助其將GPU的市場從移動端拓展到更高性能的桌面和數據中心市場。

Imagination中國區董事長白農告訴雷鋒網:「功耗一直不是目前桌面市場GPU的優勢,但隨著應用的多元化以及對功耗的更高要求,功耗一直是我們的優勢,我們的光線追蹤產品能夠讓客戶訂製更高能效的產品。Imagination的商業模式,也支援客戶的創新。並且,我們提供GPU、CPU、AI加速、連接網路的全面產品組合,適應異構的發展趨勢,能夠滿足客戶多樣化的需求。」

第一次!手機GPU實現了桌面級光線追蹤效果

據悉,Imagination Photon架構的可擴展性,可以實現高達 9 TFLOPS(每秒萬億次浮點運算)的FP32光柵化性能和超過7.8 GRay/s的光線追蹤性能,同時能夠提供比當今的RTLS 2 級或RTLS 3級光線追蹤解決方案高2.5倍的功耗效率。

寫在最後

在NVIDIA 的推動下,光線追蹤的生態在過去幾年間已經有了明顯的發展,這也是Imagination能夠推出移動端光線追蹤GPU產品的關鍵。光線追蹤是一項改變遊戲規則的技術,可以使圖形真實感達到躍升式變化。

光線追蹤不是全新的技術,但卻有可能改變GPU市場的格局,市場的訂製需求以及對功耗的更高需求,都是Imagination從移動市場進入桌面和數據中心市場的機會。

當然,除了更高效和更低功耗的產品,構建強大的生態才是Imagination在光線追蹤變革中成功的關鍵。目前Imagination已經與Carbonated、騰訊遊戲、完美世界、網易遊戲合作,推動高性能渲染和光線追蹤等圖形新技術在移動遊戲中的應用。

待到2023年基於硬體光線追蹤的移動端產品推向市場之後,我們就能夠更清晰的判斷光線追蹤對手游以及Imagination的影響。