基於影片分析的rPPG心率檢測綜述

• 2019 年 10 月 7 日
• 筆記

SIGAI特約作者

YTimo(PKU EECS)

研究方向：深度學習，電腦視覺

前言

本文內容主要來自於綜述文章：Video-Based Heart Rate Measurement: Recent Advances and Future Prospects[1]，筆者加入了一些原理性的以及自己實際經驗的補充。如果想了解更多詳細資訊，歡迎閱讀原論文。

摘要

心率估計和監測對於確定一個人的生理和心理狀態非常重要，傳統的測量心率的方法都是接觸式的，如電極式心電圖，通過電極片感應人體的心動電流來測量心率；在可穿戴設備如智慧手錶上，最常用的是利用光電容積脈搏波（PPG）來進行測量，但同樣需要緊密接觸皮膚。接觸式的測量方式雖然較為準確，但必然會帶來很多不適與不便，尤其在某些特殊的場景下，無法使用接觸式的測量方式。

2008年，Verkruysse等人首先研究證明，通過攝影機採集人的面部影片，可以從中分析出和心率相關的光電容積脈搏波描記訊號，從而實現遠程測量心率[2]，相關原理被稱為rPPG。在此基礎上，大量後續的研究開始致力於提高這一遠程測量技術的準確度和魯棒性，提出了許多新方法和新框架。

但這種基於影片分析的遠程心率檢測受環境和檢測對象的影響比較大，為了提高其檢測的準確度和魯棒性，研究者們分別從環境光照以及檢測對象的運動狀態兩個方向上進行了大量的研究。最近，一些研究也開始將二者同時進行考慮。但總的來說，在使用場景和檢測魯棒性上，基於影片分析的遠程心率檢測還有很大的應用場景和研究空間。

本文對基於影片分析的rPPG心率檢測的研究進展進行了系統的梳理，對代表性的方法和框架進行了總結，描述了這一技術的未來前景，並討論了一些潛在的研究方向。我們相信，這種超感知的無接觸式心率檢測技術，不但具有舒適性和便利性，而且還具有不引人注目的優勢，在未來將得到更多的推廣和應用。

一、 PPG原理

在醫療領域，通常使用心電描記術（Electrocardiography，ECG）測量生理電訊號來實現心率和心臟活動的檢測。ECG訊號雖然精準並且資訊豐富，但是由於測量ECG訊號常常要在身體多個部位連接感測器電極，在臨床醫療領域外並沒有得到太多的應用。現在各種可穿戴設備採用的都是光電容積脈搏波描記法（photoplethysmographic，PPG）來簡單測量心率。

採用PPG原理的光學心率感測器往往有一個發光元件，測量心率時LED光射向皮膚，透過皮膚組織反射回的光被光敏感測器接收並轉換成電訊號再經過AD轉換成數字訊號，整個過程可簡化為：光–> 電 –> 數字訊號。其測量原理為：

當光照透過皮膚組織然後再反射到光敏感測器時，光照會發生一定的衰減。像肌肉、骨骼、靜脈和其他連接組織等對光的吸收是基本不變的（前提是測量部位沒有大幅度的運動），但是血液不同，由於動脈里有血液的流動，那麼對光的吸收自然也有所變化。當我們把光轉換成電訊號時，正是由於動脈對光的吸收有變化而其他組織對光的吸收基本不變，得到的訊號就可以分為直流DC訊號和交流AC訊號。提取其中的AC訊號，就能反應出血液流動的特點。這種技術被叫做光電容積脈搏波描記法PPG。

圖1：ECG和PPG

在實際研究和應用中， 綠光的波長較長，作為光源得到的訊號更好，信噪比也比其他光源好些，所以現在大部分穿戴設備採用綠光為光源。但由於傳統的這些光學心率感測器往往需要緊密接觸皮膚，應用面很窄，所以目前大量的研究開始關注於通過攝影機遠程去檢測人體心率，其背後的原理被稱為rPPG（remote PPG）。

rPPG與傳統的PPG原理是一樣的，每次心跳帶來的血液流動會在人體皮膚組織的微血管中形成周期性的變化，從而對吸收或反射光也會有一個周期性的訊號。這個周期性的訊號人眼無法觀測到，但是可以通過高清攝影機採集到的人臉數據中分析出來，從而檢測心率，所以這種方法也被稱為超感知的心率檢測。rPPG的優越性不僅體現在它的檢測對象不需要佩戴任何感測器，所以可用於新生兒、燒傷患者、或是長時間的病房監護，甚至可以用於家用的老年人長時生理監測或是司機開車時的疲勞狀態監測等，而且因為普通的高清攝影機便宜方便，使用簡單且分布廣泛，也讓rPPG有了很大的應用前景。

基於rPPG採用普通高清攝影機測量心率首次由Verkruysse等人研究提出[2]，隨後，Poh等人提出在RGB三通道應用盲源分離演算法（BSS）去測量心率[3]；Sun等人提出了一個在環境光條件下應用聯合時頻分析去遠程測量心率的基本框架[4]。在這之後，湧現出了很多基於人臉面部影片分析去測量心率的研究，研究的對象也開始從受控場景開始轉向真實自然場景，由靜止轉向運動，同時對錶情、光照、膚色等帶來的雜訊及影響都有了更多細緻的考慮。

二、基本框架

綜合目前的研究，基於rPPG遠程測量心率的基本框架可歸納為下圖

圖2：基於rPPG遠程測量心率的基本框架

首先，在某個光源或是自然的環境光條件下，使用攝影機捕捉人臉上某個區域的皮膚數據，這個區域被稱為ROI（Region of Interest），ROI可以手動挑選或是使用某些演算法自動探測和追蹤。其次，對採集到的ROI數據計算顏色RGB的空間均值，可以只計算某一通道，也可以計算多通道。第三，對計算出的空間均值應用訊號處理方法（低通濾波、盲源分離等）得到包含心率資訊的分量；最後，通常將快速傅立葉變換（FFT）或峰值檢測演算法應用於該分量，以估計相應的頻率Fs（或處理持續時間T（s）期間的峰值數Ns）。每分鐘節拍（bpm）形式下的心率將被計算為60×Fs（或Ns / T×60）。

以上所列出的這些研究都是在受控條件下進行的，也就是說要求測量對象保持靜止而且環境的光照也是保持穩定的。在大部分研究中，通常選取前額作為ROI區域，因為前額的皮膚較平較薄，在人說話或做表情時受到的影響較小。而且研究中還發現，RGB三通道里包含的訊號和心率訊號的關聯度不一樣，其中綠色通道包含了最強的心率訊號，這和之前介紹PPG原理時所說的綠光可以得到更好的訊號是一致的。

近年來關於rPPG測量心率的研究逐年增多，但總的來說，可以分為兩個大方向：一是如何克服光照變化的影響；二是如何克服測量對象運動的影響。

三、如何克服光照變化

為了消除光照變化帶來的影響，相關的研究可以分為兩種方案：

圖3：克服光照變化的兩種方案

第一種方案是研究更好的訊號分離演算法，從原始訊號中更好地分離出心率訊號，所以其框架與之前類似，關鍵在於尋找更好的分離演算法，但如果雜訊訊號與心率訊號頻率相近，這種方案可能很難得到很好的效果。

第二種方案假設分離出來的心率訊號中既含有真實的血流脈搏訊號，也含有光照變化帶來的雜訊訊號。這種光照變化可以單獨去不含皮膚的背景環境中檢測，然後從心率訊號中減去這個環境雜訊訊號，從而得到乾淨的真實心率。

具體來說，首先在攝影機採集數據時，人臉上有一個ROI，背景環境中有一個ROI，這兩個區域的數據被分別進行採集；其次在計算空間均值時，兩個ROI的數據分別進行計算；然後背景ROI中計算得到的光照變化訊號將被視為雜訊，從人臉ROI的訊號中減去，最終得到不含雜訊的心率訊號。這種方案的性能取決於背景的光照變化和人臉上的光照變化是否相同或相似，如果人臉上的光照變化和背景里的光照變化是不一樣的，那麼就可能是無效的。

下表是這兩種方案的一些代表性研究：

四、如何克服運動影響

早期基於rPPG的心率檢測研究基本都是在測量對象靜止的情況下進行的，因為即使是輕微的運動都會造成ROI和攝影機、光源之間的距離和角度發生變化，從而帶來更大的干擾和雜訊。但現實場景下檢測對象不可能一直保持這種理想條件，因此越來越多的研究開始關注如何去克服運動帶來的影響。相關的研究也可分為下面這幾類：

圖4：克服運動影響的4類方法

（1）BSS-Based Methods

BSS可以在沒有先驗資訊的情況下從一組觀察到的數據中分離出想要的訊號，其中一種典型的BSS方法是獨立成分分析（ICA）。基於R，G和B通道訊號實際上是脈搏訊號和其他訊號的線性組合的假設，Poh等人[5]提出了基於特徵矩陣的ICA演算法的聯合近似對角化方法，以去除RGB通道之間的相關性和更高階依賴性，可以在靜止和一定的輕微運動條件下提取HR分量，證明了ICA用於心率檢測的可行性。許多研究者也將BSS和其他方法結合起來，取得了良好的效果[6][7]

但傳統的BSS只能處理單一區域，比如將來自某一ROI區域的多個顏色通道訊號分解成獨立的分量。為了更準確地測量心率，研究者們還嘗試在人臉上選取多個ROI區域，對多個訊號集合約時進行分析，這時採用的方法被稱為聯合BSS（JBSS）。Guo等人首先將JBSS方法引入rPPG領域，主要應用獨立矢量分析（IVA）來聯合分析來自多個面部子區域的顏色訊號。初步實驗結果顯示，與基於ICA的BSS方法相比，測量得到的心率更加準確[8]。後來Qi等人通過JBSS探索麵部子區域數據集之間的相關性，提出了一種新的非接觸式心率測量方法[9]。大型公共資料庫的測試結果表明，他們所提出的JBSS方法優於以前基於ICA的方法。

目前關於使用JBSS進行無接觸心率測量的研究還在初級階段，將來除了來自面部子區域的顏色訊號和多模態數據集之外，JBSS也可用於其他類型的多重集合來實現更準確和魯棒的非接觸式心率檢測。

(2) Model-Based Methods

利用一些顏色矢量的先驗資訊，基於模型的方法可以更好地從採集到的原始混合數據中分離出心率訊號，就實驗結果來看也更優於之前大部分BSS方法。目前主要的三種基於模型的方法有CHROM[10]、PBV[11]和POS[12]。

de Haan和Jeanne[10]提出的CHROM模型假設主要的干擾來自運動中非局部的變化以及皮膚的鏡面反射，並事先假設了一個恆定的標準化膚色，在這兩個假設下，他們建立了一個R，G，B三通道的線性組合用以消除運動帶來的影響。實驗結果也表明，在運動的情況下，CHROM方法優於先前基於ICA和PCA的方法。

之後，de Haan和van Leest[11]提出了一種基於PBV的方法來增強運動的魯棒性。基於PBV的方法利用血容量變化的訊號來區分脈衝引起的顏色變化與運動帶來的干擾。受試者在五種不同健身裝置上鍛煉條件下的實驗結果顯示，與基於CHROM的方法相比，基於PBV的方法在效果上有顯著提升。

最近，Wang等人提出了一個基於POS的rPPG演算法，在正則化的RGB空間中尋找一個與皮膚正交的平面，預先定義色調，以更好地提取脈衝訊號，同樣取得了良好的實驗效果[12]。

(3) Motion Compensated Methods

這裡提到的運動主要是指全局剛性運動或是局部非剛性運動。剛性運動通常包括頭部平移和旋轉，而非剛性運動通常指眨眼，做表情和嘴巴說話等。通常情況下，可靠的ROI檢測和跟蹤是基於rPPG進行心率檢測的關鍵重要步驟之一，可以將其視為全局的運動補償方式，以保證心率檢測的準確性。另一方面，將臉上更容易運動或變化的區域，如眼睛、嘴唇等部位，排除在ROI之外，則可以被視為局部的運動補償策略。

(4) Other Methods

除了上述三種方法，還有很多方法也致力於提高運動時測量心率的魯棒性。例如Bousefsaf等人[13]使用連續小波變換從面部影片數據中分離PPG訊號，並且即使在存在運動的情況下也實現了生理測量之間的高度相關性。此外，研究者們也在嘗試將BSS方法與機器學習結合起來，在選擇用於心率測量的最佳獨立分量時取得了很好的效果。[14]

當然，在實際場景中，光照變化和運動造成的影響是同時存在的，研究者們也正在致力於同時解決這兩個因素帶來的影響。

五、研究思路及未來前景

由於基於影片分析的rPPG心率測量是一種低成本、舒適、方便且廣泛的心率測量方法，因此對於需要長時間測量心率或不宜與受試者身體接觸的情況來說，它具有很大的潛力，比如新生兒ICU監測，長期監測，燒傷或創傷患者監測，駕駛員狀態評估和情感狀態評估等。為了準確地實現隨時隨地的遠程心率監測，rPPG的未來前景包括以下幾個方面：

（1）利用更多的先驗知識

在某些特定情況的某些假設下，前面提到的某種方法都可能更合適。一般而言，目前關於rPPG研究的第一個假設是光源具有恆定的光譜成分，只是強度會發生變化，這表明光源的光譜成分的變化將是另外的挑戰。在這種情況下，如果先前已知這種光譜成分的變化資訊，就可以設計專門的方法來更好地測量心率。另外，傳統的基於BSS的方法是將原始的平均RGB訊號分離成獨立的或主要的分量，沒有使用任何先驗資訊，而通常利用顏色矢量的資訊可以更好地分離訊號，因此，基於模型的方法測量心率的性能通常優於傳統的基於BSS的方法。此外，數據驅動的rPPG方法可以通過創建依賴於測量對象的膚色空間並跟蹤色調隨時間的變化來實現更好的性能。總之，包含更多準確的先驗知識可以使得基於模型和基於數據驅動的rPPG方法比傳統的基於BSS的方法更加魯棒。

所以在為某個場景設計魯棒的rPPG演算法時，應考慮rPPG的典型特性，嘗試先去尋找有幫助的先驗資訊。

（2）建立一個公開數據集基準

實際上，研究更好的基於影片分析的rPPG方法的一個很大困難是缺乏在現實情況下記錄的公開數據集，目前已發表的大多數論文都是在私人擁有的數據集上進行評估。在基於影片的rPPG心率檢測領域，被用的最多的數據集是MAHNOB-HCI[15]和DEAP[16]。然而這兩個數據集最初都是設計用於使用生理和影片訊號進行情感識別或分析，它們都涉及與電影本身相關的光照變化以及與誘發情緒反應相關的運動,可能不是評估rPPG演算法以用於更複雜的實際應用的最佳選擇。因此，迫切需要一個與rPPG適用的與實際應用直接相關的新的公開數據集。

(3)多模式融合

許多研究已經證明，即使在相對較暗的照明情況下，也可以通過使用普通的RGB攝影機來測量心率，但是在完全黑暗的條件下就沒辦法了。為了不間斷地監測心率，熱/紅外攝影機與RGB攝影機以及其他對光照不敏感的攝影機相結合，將是更魯棒和連續非接觸式心率測量的合適方法。

此外，心率也可以基於運動引起的變化來估計。血液通過頸動脈從心臟到頭部的周期性運動會引起心臟頻率的周期性變化。環境光中的這些心臟同步變化也可以從面部影片中遠程檢測到，這被稱為遠程心衝擊圖（rBCG）。通過這種方式，研究單獨的rBCG或rPPG和rBCG的組合將是另一個前景。

（4）多人、多視角和多攝影機監測

在實際應用中，一個攝影機可能同時捕獲多個人的影像，而且除了正面的臉部影像之外，還會出現臉部的其他視圖、甚至臉部消失的情況，這給現有的rPPG方法帶來了挑戰。但隨著人臉檢測和跟蹤技術的提高，同時測量多個人的心率應該是不難實現的。採用人臉對齊演算法也可以將一部分非正面的臉部視圖轉為正面。但最好的方法還是當使用多個攝影機，多個視角同時監測，這樣就可以研究如何去選取最好的ROI或提取更好的心率分量。這樣的融合機制或訊號處理方法是很重要的一個前景。

（5）監測多個生理指標

本文主要關注的是將rPPG用於心率檢測，但實際上，rPPG可以被用於檢測人體的很多生理指標，如心率變異性（HRV）、呼吸頻率（RR）、血氧濃度、血壓等等[17]。然而這些方法目前還沒有被嚴格地評估過，因此，在更具挑戰性的條件下對這些生理指標的的監測是另一個重要研究方向。

此外，由於rPPG無接觸、超感知、舒適便利、不引人注目，在很多場景下具有很大的優勢，可以被用於醫療護理、健康監護、測謊、情緒、疲勞狀態等的監測。比較典型的兩個場景：一是放在家裡監測老年人的身體健康狀況；二是檢測司機是否疲勞駕駛。當然未來肯定還有很多的應用場景。

但有一個具有挑戰性的方向是：目前所用的影片數據都是原始無壓縮的，在真正應用的時候肯定不能存儲這麼大的數據量。那麼能否從壓縮的影片數據中去監測心率和其他生理指標，或者有沒有更高效的方法，都是值得研究的重要方向。

圖5：rPPG的未來前景

總結

基於影片分析的rPPG心率檢測自從被提出以來，就一直吸引著研究者的關注，經過十多年的研究，研究對象從靜止逐漸發展為運動，環境從單一光源發展為變化的多光源，rPPG的使用場景在逐漸接近真實場景，而且具有很多應用前景，是非常有潛力的一個研究方向。但是，就筆者自己所做的實驗和復現來看，實際測量效果還很差強人意，仍然還有很大的研究空間。

參考資料及文獻：

[1] Chen, Xun , et al. "Video-Based Heart Rate Measurement: Recent Advances and Future Prospects." IEEE Transactions on Instrumentation and Measurement (2018):1-16.

[2] W. Verkruysse, L. O. Svaasand, and J. S. Nelson, 「Remote plethysmo- graphic imaging using ambient light,」 Opt. Express, vol. 16, no. 26, pp. 21434–21445, 2008.

[3] M.-Z. Poh, D. J. McDuff, and R. W. Picard, 「Advancements in noncontact, multiparameter physiological measurements using a web- cam,」 IEEE Trans. Biomed. Eng., vol. 58, no. 1, pp. 7–11, Jan. 2011.

[4] Y. Sun, V. Azorin-Peris, R. Kalawsky, S. Hu, C. Papin, and S. E. Greenwald, 「Use of ambient light in remote photoplethysmo- graphic systems: Comparison between a high-performance camera and a low-cost webcam,」 J. Biomed. Opt., vol. 17, no. 3, p. 037005, 2012.

[5] M.-Z. Poh, D. J. McDuff, and R. W. Picard, 「Non-contact, automated cardiac pulse measurements using video imaging and blind source separation,」 Opt. Express, vol. 18, no. 10, pp. 10762–10774, 2010.

[6] S. Yu, S. Hu, V. Azorin-Peris, J. A. Chambers, Y. Zhu, and S. E. Greenwald, 「Motion-compensated noncontact imaging photo- plethysmography to monitor cardiorespiratory status during exercise,」 J. Biomed. Opt., vol. 16, no. 7, p. 077010, 2011.

[7] A. Al-Naji, A. G. Perera, and J. Chahl, 「Remote monitoring of cardiorespiratory signals from a hovering unmanned aerial vehicle,」 Biomed. Eng. Online, vol. 16, Aug. 2017, Art. no. 101.

[8] Z. Guo, Z. J. Wang, and Z. Shen, 「Physiological parameter monitoring of drivers based on video data and independent vector analysis,」 in Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), May 2014, pp. 4374–4378.

[9] H. Qi, Z. Guo, X. Chen, Z. Shen, and Z. J. Wang, 「Video-based human heart rate measurement using joint blind source separation,」 Biomed. Signal Process. Control, vol. 31, pp. 309–320, Jan. 2017.

[10] G. de Haan and V. Jeanne, 「Robust pulse rate from chrominance-based rPPG,」 IEEE Trans. Biomed. Eng., vol. 60, no. 10, pp. 2878–2886, Oct. 2013.

[11] G. de Haan and A. van Leest, 「Improved motion robustness of remote- PPG by using the blood volume pulse signature,」 Physiol. Meas., vol. 35, no. 9, pp. 1913–1926, 2014.

[12] W. Wang, A. C. den Brinker, S. Stuijk, and G. de Haan, 「Algorithmic principles of remote PPG,」 IEEE Trans. Biomed. Eng., vol. 64, no. 7, pp. 1479–1491, Jul. 2017.

[13] F. Bousefsaf, C. Maaoui, and A. Pruski, 「Continuous wavelet filtering on webcam photoplethysmographic signals to remotely assess the instantaneous heart rat

[14] H. Monkaresi, R. A. Calvo, and H. Yan, 「A machine learning approach to improve contactless heart rate monitoring using a webcam,」 IEEE J. Biomed. Health Informat., vol. 18, no. 4, pp. 1153–1160, Jul. 2014.

[15] M. Soleymani, J. Lichtenauer, T. Pun, and M. Pantic, 「A multimodal database for affect recognition and implicit tagging,」 IEEE Trans. Affect. Comput., vol. 3, no. 1, pp. 42–55, Jan. 2012.

[16] S. Koelstra et al., 「DEAP: A database for emotion analysis; Using physiological signals,」 IEEE Trans. Affective Comput., vol. 3, no. 1, pp. 18–31, Oct./Mar. 2012.

[17] Y. Sun and N. Thakor, 「Photoplethysmography revisited: From contact to noncontact, from point to imaging,」 IEEE Trans. Biomed. Eng., vol. 63, no. 3, pp. 463–477, Mar. 2016.