基於屏幕空間的實時全局光照（Real-time Global Illumination Based On Screen Space）
所謂基於屏幕，就是指利用的信息來源於「屏幕」，例如：frame buffer、depth buffer、G-buffer都記錄著屏幕所看到的各 pixel 的信息。
Reflective Shadow Maps（RSM）
Reflective Shadow Maps（RSM）：主要是利用了 shadow map 思想的GI技術，但 shadow map 嚴格意義上不屬於用戶的「屏幕」信息，而是屬於光源的「屏幕」信息，因此我還是將其歸納為 screen space 的技術。
RSM的思路：將受到直接光照的地方都視為次級光源，那麼 shading point x 所受的次級光照便是來源於各個次級光源的反射。
次級光照 = bounce為1的間接光照，RSM算法只能支持bounce為1的間接光照效果
然後，假定次級光源均是 diffuse 物體，那麼一小塊次級光源 patch（這塊次級光源面積位於點 \(x_p\) ）對 shading point x 的 irradiance 貢獻是：
\(E_{p}(x) = \Phi_p \frac{\max (\mathbf{n_p} \cdot normalize(x-x_p),0)\max (\mathbf{n} \cdot normalize(x_{p}-x),0)}{\left\|x-x_{p}\right\|^{2}}\)
\(\Phi\) 是次級光源 patch 的 power，\(\mathbf{n_p}\) 是 \(x_p\) 的法線 ，\(\mathbf{n}\) 是 \(x\) 的法線
所有的次級光源 patch 對 \(x\) 的貢獻加起來便是 \(x\) 的間接光照 irradiance：
\(E(x) =\sum \ E_{p}(x)\)
那麼，怎麼找到這些次級光源呢？這就用到了 shadow map 的思想：
- 陰影生成 pass：在光源攝像機渲染 shadow map （往往只記錄了深度）的時候，順便額外記錄 世界坐標 \(x_p\) 、法線 \(n_p\)、 接受的直接光源Power \(\Phi_p\)。那麼就可以認為 shadow map 的一個 texel 對應一塊patch ，從而這張 shadow map 就包含了所有次級光照 patch 的信息了 。
實際上，世界坐標也可以通過uv坐標、遮擋深度來推算得到，好處是可以節省空間，壞處是在後面的pass需要渲染 pixel 時，大量對紋理的採樣會導致大量的坐標變換計算（而且很多計算都是重複的），因此在RSM算法中，不推薦這種壓縮做法。
此外，計算一個 texel （或者說一塊patch）的 \(\Phi_p\) 時，無論光源是directional light還是spot light，都不必計算 cosine 或者 距離衰減，而直接用光源強度與物體 albedo 相乘
$\Phi_p=\Phi(u_p,v_{p})= I * c_p $
\(u_p、v_p\) 為 \(x_p\) 在 shadow map 上的紋理坐標。
- 主渲染pass：在 pixel shader 階段，計算出 \(x\) 對應的 shadow map uv坐標，並取該坐標周圍若干個 texel （這些正是我們要採樣的次級光源點）對應的 世界坐標 \(x_p\) 、法線 \(n_p\)、 接受的直接光源Power \(\Phi_p\) ，它們將對 \(x\) 的渲染造成間接光照影響：
\(L_{indirect}(x,\mathbf{v}) = \frac{E(x)}{\pi} = \frac{{\sum_{\text {texels p}} \ E_{p}(x)}}{\pi}\)
RSM效果圖：
RSM 的重要性採樣
理論上，為了實現最好的RSM效果，應當取整張 shadow map 的所有 texel 作為次級光源點，因為整張shadow map 意味着包含了整個光源照到的信息。但這樣所需的採樣數就相當於 shadow map 的分辨率，代價太高。
因此我們應當使用少量的採樣數來保證性能，同時也要保證RSM的間接光源質量能夠接受，那麼就容易想到用 Importance Sampling 來加速採樣的收斂。那麼哪些地方的次級光源點比較重要呢？
RSM 假定，離 shading point x 近的點更可能給 x 的光照貢獻大，而遠的點給 x 的光照貢獻小。
因此這個用於RSM的 Importance Sampling 將給近的的地方更多的採樣點（當然權重更小），遠的地方更少的採樣點（權重更大），用可視化採樣點數量和權重大概就是這個樣子：
因此，選取一個隨機採樣點坐標 \((u,v)\) 和對應的權重 \(importance\)：
\((u,v)=\left(s+r_{\max } \xi_{1} \sin \left(2 \pi \xi_{2}\right), t+r_{\max } \xi_{1} \cos \left(2 \pi \xi_{2}\right)\right)\)
\(importance = (\xi_{1})^2\)
其中，\(s、t\) 為 shading point x 在 shadow map 的紋理坐標，\(\xi_{1}、\xi_{2}\) 為隨機數
RSM 的應用與缺陷
缺陷：
- 性能開銷與燈光數量成正比，有點昂貴（意味着需要同樣數量的 shadow map、在多張 shadow map 採樣等…）
- 由於 shadow map 記錄的是光源攝像機屏幕上的表面幾何信息，因此在計算 patch 對 shading point 的貢獻時很難做到檢查 visibility：
- RSM 假設次級光源面均是 diffuse 的，這會影響圖像 visibility 的正確性（當然大部分情況下，）
應用：
- 作為廉價的GI方法，常被用於做單個重要光源的GI效果（例如手電筒）
Screen Space Ambient Occulsion（SSAO）
屏幕空間環境光遮蔽（Screen Space Ambient Occulusion,SSAO）：是一類遊戲工業界很常用且廉價的屏幕空間GI方法。
所謂環境光遮蔽（AO），就是某個 shading point 因為被其它幾何表面所遮擋，從而降低了接受外界環境光的比例（這種遮蔽常常發生在凹處表面）：
一種計算AO的經典方法就是通過蒙特卡洛+ray casting 預計算模型上各點的AO，然後做成 AO 紋理可以運行時像普通紋理一樣採樣並與顏色相乘（AO map 存的是 visibility 值）。
SSAO 將要用到的屏幕信息是：color、depth
SSAO 不需要預計算過程，只需要通過屏幕空間信息就能做到還算不錯的AO效果：
-
在第一個 pass 只渲染整個場景的直接光照，得到包含直接光照結果的 color buffer 和 depth buffer。
-
在第二個 pass 對整個屏幕渲染，對於某個 shading point ，在該點周圍隨機採樣一些點，然後這些點與 depth buffer 對應的深度作比較：若採樣點的深度小於 depth buffer 對應位置的深度，則說明該採樣點被遮蔽了。而這些採樣點的遮蔽率便是該 shading point 的遮蔽率。遮蔽率將乘於 color 得到該 shading point 最終的渲染結果。
當然也有不正確的遮蔽現象，例如下圖中間點的採樣，有個紅色採樣點實際上沒有被遮蔽。但是該採樣點的深度小於depth buffer的對應深度，因此被 SSAO 判定為遮蔽了。
SSAO 效果圖（左為關閉SSAO效果，右為開啟SSAO效果，可以看到物體交界處等地方多了更多的暗部細節）：
SSAO Blur
實踐中由於性能限制，SSAO 一般僅使用16個採樣點，那麼 AO 的結果將會是 noisy 的：
這時候就稍微修改下 SSAO 的算法流程，在計算 shading point 的 AO 時，不再直接乘於 color。而是先寫入到一個 AO buffer 上，之後用一個屏幕後處理 pass 對 AO buffer 信息進行邊緣保留濾波算法（其實就是保持邊緣感的模糊操作，例如雙邊濾波算法），那麼得到將是不那麼 noisy 的 AO 結果：
Horizon Based Ambient Occlusion（HBAO）
實際上，shading point 的 SSAO 採樣範圍不應該是一個球型，而應當是基於該點的法線為中心的半球形採樣範圍（因為渲染方程本就是上半球的積分，下半球的光線不會照到 shading point ）。
HBAO 就是採樣上半球採樣範圍的 SSAO 改進方法，得到該範圍的採樣點算法也很簡單：
vec3 rand; // 在球形上的隨機坐標
vec3 n; // shading point法線
rand = sign(dot(n,rand))*rand; // 在半球上的隨機坐標
SSAO 的應用與缺陷
缺陷：
- 僅包含屏幕表面的幾何信息不能表示完全正確的 visibility，因此 AO 效果不那麼準確（相對於預計算AO貼圖）
應用：
- 廉價的GI效果，提升畫面的暗部細節，大部分遊戲都會將其納入一種畫面增強選項。
Screen Space Directional Occlusion（SSDO）
Screen Space Directional Occlusion（SSDO） 也是一類與 SSAO 極其相似的屏幕空間GI方法，區別在於它們看待光線遮蔽的角度是相反的：
-
AO 認為 shading point 朝外的光線打到物體幾何表面時，相當於外部的直接環境光被這個表面遮擋了，因此（對於下面這幅圖） AO 將紅色部分視為間接光照來源，黃色部分視為損失的間接光照
-
而 DO 認為 shading point 朝外的光線打到物體幾何表面時，相當於受到了間接光照（光照來源於打到的表面），因此（對於下面這幅圖） DO 會將黃色部分視為間接光照來源，紅色部分視為損失的間接光照
用渲染方程去表示兩種GI就是：
\(L_{\mathrm{SSAO}}\left(\mathrm{p}, \omega_{o}\right)=\int_{\Omega^{+}} L_{\mathrm{environment}}\left(\mathrm{p}, \omega_{i}\right) * f_{r}\left(\mathrm{p}, \omega_{i}, \omega_{o}\right) \cdot V(p) \cdot \cos \theta_{i} \mathrm{~d} \omega_{i}\)
\(L_{\mathrm{SSDO}}\left(\mathrm{p}, \omega_{o}\right)=\int_{\Omega^{+}} L_{\mathrm{indirect}}\left(\mathrm{p}, \omega_{i}\right)* f_{r}\left(\mathrm{p}, \omega_{i}, \omega_{o}\right) \cdot (1-V(p)) \cdot \cos \theta_{i} \mathrm{~d} \omega_{i}\)
其中，\(V(p)\) 代表 \(p\) 周圍採樣點被 depth buffer 深度遮擋的概率。
因此 SSAO 往往增加的是明暗細節，而 SSDO 往往增加的是周圍物體表面的顏色影響（或者說增加color bleeding效果）
SSAO 將要用到的屏幕信息是：color、depth
SSDO 算法流程：
-
在第一個 pass 只渲染整個場景的直接光照，得到包含直接光照結果的 color buffer 和 depth buffer。
-
在第二個 pass 對整個屏幕渲染，對於某個 shading point ，在該點周圍隨機採樣一些點，然後這些點與 depth buffer 對應的深度作比較：若採樣點的深度大於 depth buffer 對應位置的深度，則說明該採樣點將提供間接光照。而這些採樣點的間接光照按權重加起來便是該 shading point 的間接光照結果。間接光照結果將直接疊加 color 得到該 shading point 最終的渲染結果。
SSDO 效果圖：
SSDO 的應用與缺陷
缺陷：
- 僅包含屏幕表面的幾何信息仍然不能表示完全正確的 visibility
- 僅支持短距離GI效果，而無法展示長距離的GI
- 會缺失屏幕看不到的平面信息（對於有顏色的GI效果很容易看出artifact）
Screen Space Reflection（SSR）/Screen Space Ray Tracing（SSRT）
Screen Space Reflection（SSR）,一類與 ray tracing 思路非常相似的屏幕空間GI方法，因此也有被叫為 Screen Space Ray Tracing（SSRT）。
它的想法是，將屏幕所看到的表面幾何信息當成一個場景，然後計算間接光照時，往半球範圍若干個方向投射射線，看看能和這個場景的哪個屏幕像素點相交，這些便可以相交的像素點便是提供間接光照的來源。
SSR 需要用到的屏幕信息：color、normal、depth
SSR 的算法流程：
-
在第一個 pass 只渲染整個場景的直接光照，得到包含直接光照結果的 color buffer 、normal buffer、 depth buffer。
-
在第二個 pass 對整個屏幕渲染，對於某個 shading point ，在該點往半球隨機方向投射若干條射線（使用 ray marching算法），然後將與射線相交的點 \(\mathrm{p’}\) 將對 shading point 的間接光照做出貢獻（這與渲染方程是一致的）：
$ L_{\mathrm{indirect}}\left(\mathrm{p}, \omega_{o}\right) = \int_{\Omega^{+}} L_{}\left(\mathrm{p’}, \omega_{i}\right) * f_{r}\left(\mathrm{p}, \omega_{i}, \omega_{o}\right) \cdot V(p’) \cdot \cos \theta_{i} \mathrm{~d} \omega_{i}$
其中當射線命中時， \(V(p’) = 1\) ；否則，\(V(p’) = 0\)
為了減少計算，這裡仍然假設次級光源點是 diffuse 的，這樣式子實際可以寫成：
\(L_{\mathrm{indirect}}\left(\mathrm{p}, \omega_{o}\right) = \int_{\Omega^{+}} \frac{E(\mathrm{p’})}{\pi} * f_{r}\left(\mathrm{p}, \omega_{i}, \omega_{o}\right) \cdot V(p’) \cdot \cos \theta_{i} \mathrm{~d} \omega_{i}\)
此外，SSR 還可以通過使用不同的 brdf 來實現不同的反射效果：
SSR 效果圖：
SSR的 Ray Marching
得益於帶 depth buffer，SSR 可以實現比較廉價的 Ray Marching 效果。Ray Marching 的精度和性能之間的平衡將取決於 march 的步長。
算法先從 start point 開始，
- 每次往射線方向走一個步長得到一個測試點，將該測試點變換成屏幕坐標 \((u,v,z)\)
- 根據uv坐標取 depth buffer 對應的深度 \(d\) 與 \(z\) 比較：若 \(z>d\) ，則說明射線碰到該uv位置上像素點的「柱條」，返還該測試點；否則，重複上述步驟
bool RayMarch(vec3 ori, vec3 dir, out vec3 hitPos) {
float step = 1.0;
vec3 lastPoint = ori;
for(int i=0;i<10;++i){
// 往射線方向走一步得到測試點深度
vec3 testPoint = lastPoint + step * dir;
float testDepth = GetDepth(testPoint);
// 測試點的uv位置對應在depth buffer的深度
vec2 testScreenUV = GetScreenCoordinate(testPoint);
float bufferDepth = GetGBufferDepth(testScreenUV);
// 若測試點深度 > depth buffer深度，則說明光線相交於該測試點位置所在的像素柱條
if(testDepth-bufferDepth > -1e-6){
hitPos = testPoint;
return true;
}
// 繼續下一次 March
lastPoint = testPoint;
}
return false;
}
Depth Mipmap 加速 Ray Marching
在 SSR 的 ray marching 中，步長短了會導致要走很多步，消耗很多性能；而步長長了則可能會導致越過原本應該相交的地方後面，導致錯誤的相交。
為了優化這一過程，我們可以對 depth buffer 做成特殊的 mipmap，低層級的將取高層級若干個 texel 的最大值，而不是傳統 mimap 所取的平均值。這樣我們可以先在底層級的 mipmap 進行大步的 march：若沒碰到，則說明不在當前這塊 texel 的任何子像素，可以繼續下一大步；若碰到了，則說明可能與在這塊 texel 里的某個子像素相交，因此需要降低層級，進行更小步的 march。
這個 mipmap 加速方法實際上和 BVH 方法是相似的，mipmap 每個 texel 相當於每個AABB包圍盒，層級越低則包圍盒越大
mip = 0;
while(level>-1)
step through current cell;
if(above Z plane) ++level;
if(below Z plane) --level;
Edge Fading
由於 screen space 的方法天生丟失了屏幕以外的信息，在某些時候的渲染可能會看到反射物比較突兀的斷掉了屏幕外的信息：
為了掩蓋這一突兀的artifact，可以使用基於像素uv坐標的間接光照權重貢獻，即uv坐標越接近邊界（例如接近u=0、u=1、v=0、v=1），則權重貢獻應當越小：
BRDF 重要性採樣
為了讓 SSR 的採樣更容易收斂，我們可以根據不同的 BRDF lobe 在進行 importance sampling：
射線結果重用
當 pixel 的 ray marching 得出一個相交點時，不僅計算出對該 pixel 的間接光照貢獻，還可以將計算該點與原 pixel 附近的 pixel 的間接光照貢獻並賦給相應的 pixel ：
預過濾採樣結果
每個方向採樣得到的結果將根據不同的 BRDF lobe 來決定這個結果的權重，從而最終綜合得到一個過濾後的間接光照結果，減少了採樣的 noise 問題：
SSR/SSRT 的應用與缺陷
缺陷：
- screen space 方法仍然缺失了屏幕所看不到的幾何信息
- diffuse 情況下，由於要往半球範圍均勻採樣（不能像specular/glossy那樣用importance sampling極大優化採樣），容易造成nosiy結果，這時候可能需要犧牲更多的性能來採樣更多
應用：
- SSR 的渲染效果非常好（前面的方案看起來總像是增強部分的圖像效果）
- 通過不同的 brdf 函數，可以自由調成各種反射效果（specular/glossy/diffuse）
