基于视频分析的rPPG心率检测综述

• 2019 年 10 月 7 日
• 笔记

SIGAI特约作者

YTimo(PKU EECS)

研究方向：深度学习，计算机视觉

前言

本文内容主要来自于综述文章：Video-Based Heart Rate Measurement: Recent Advances and Future Prospects[1]，笔者加入了一些原理性的以及自己实际经验的补充。如果想了解更多详细信息，欢迎阅读原论文。

摘要

心率估计和监测对于确定一个人的生理和心理状态非常重要，传统的测量心率的方法都是接触式的，如电极式心电图，通过电极片感应人体的心动电流来测量心率；在可穿戴设备如智能手表上，最常用的是利用光电容积脉搏波（PPG）来进行测量，但同样需要紧密接触皮肤。接触式的测量方式虽然较为准确，但必然会带来很多不适与不便，尤其在某些特殊的场景下，无法使用接触式的测量方式。

2008年，Verkruysse等人首先研究证明，通过摄像头采集人的面部视频，可以从中分析出和心率相关的光电容积脉搏波描记信号，从而实现远程测量心率[2]，相关原理被称为rPPG。在此基础上，大量后续的研究开始致力于提高这一远程测量技术的准确度和鲁棒性，提出了许多新方法和新框架。

但这种基于视频分析的远程心率检测受环境和检测对象的影响比较大，为了提高其检测的准确度和鲁棒性，研究者们分别从环境光照以及检测对象的运动状态两个方向上进行了大量的研究。最近，一些研究也开始将二者同时进行考虑。但总的来说，在使用场景和检测鲁棒性上，基于视频分析的远程心率检测还有很大的应用场景和研究空间。

本文对基于视频分析的rPPG心率检测的研究进展进行了系统的梳理，对代表性的方法和框架进行了总结，描述了这一技术的未来前景，并讨论了一些潜在的研究方向。我们相信，这种超感知的无接触式心率检测技术，不但具有舒适性和便利性，而且还具有不引人注目的优势，在未来将得到更多的推广和应用。

一、 PPG原理

在医疗领域，通常使用心电描记术（Electrocardiography，ECG）测量生理电信号来实现心率和心脏活动的检测。ECG信号虽然精准并且信息丰富，但是由于测量ECG信号常常要在身体多个部位连接传感器电极，在临床医疗领域外并没有得到太多的应用。现在各种可穿戴设备采用的都是光电容积脉搏波描记法（photoplethysmographic，PPG）来简单测量心率。

采用PPG原理的光学心率传感器往往有一个发光元件，测量心率时LED光射向皮肤，透过皮肤组织反射回的光被光敏传感器接收并转换成电信号再经过AD转换成数字信号，整个过程可简化为：光–> 电 –> 数字信号。其测量原理为：

当光照透过皮肤组织然后再反射到光敏传感器时，光照会发生一定的衰减。像肌肉、骨骼、静脉和其他连接组织等对光的吸收是基本不变的（前提是测量部位没有大幅度的运动），但是血液不同，由于动脉里有血液的流动，那么对光的吸收自然也有所变化。当我们把光转换成电信号时，正是由于动脉对光的吸收有变化而其他组织对光的吸收基本不变，得到的信号就可以分为直流DC信号和交流AC信号。提取其中的AC信号，就能反应出血液流动的特点。这种技术被叫做光电容积脉搏波描记法PPG。

图1：ECG和PPG

在实际研究和应用中， 绿光的波长较长，作为光源得到的信号更好，信噪比也比其他光源好些，所以现在大部分穿戴设备采用绿光为光源。但由于传统的这些光学心率传感器往往需要紧密接触皮肤，应用面很窄，所以目前大量的研究开始关注于通过摄像头远程去检测人体心率，其背后的原理被称为rPPG（remote PPG）。

rPPG与传统的PPG原理是一样的，每次心跳带来的血液流动会在人体皮肤组织的微血管中形成周期性的变化，从而对吸收或反射光也会有一个周期性的信号。这个周期性的信号人眼无法观测到，但是可以通过高清摄像头采集到的人脸数据中分析出来，从而检测心率，所以这种方法也被称为超感知的心率检测。rPPG的优越性不仅体现在它的检测对象不需要佩戴任何传感器，所以可用于新生儿、烧伤患者、或是长时间的病房监护，甚至可以用于家用的老年人长时生理监测或是司机开车时的疲劳状态监测等，而且因为普通的高清摄像头便宜方便，使用简单且分布广泛，也让rPPG有了很大的应用前景。

基于rPPG采用普通高清摄像头测量心率首次由Verkruysse等人研究提出[2]，随后，Poh等人提出在RGB三通道应用盲源分离算法（BSS）去测量心率[3]；Sun等人提出了一个在环境光条件下应用联合时频分析去远程测量心率的基本框架[4]。在这之后，涌现出了很多基于人脸面部视频分析去测量心率的研究，研究的对象也开始从受控场景开始转向真实自然场景，由静止转向运动，同时对表情、光照、肤色等带来的噪声及影响都有了更多细致的考虑。

二、基本框架

综合目前的研究，基于rPPG远程测量心率的基本框架可归纳为下图

图2：基于rPPG远程测量心率的基本框架

首先，在某个光源或是自然的环境光条件下，使用摄像头捕捉人脸上某个区域的皮肤数据，这个区域被称为ROI（Region of Interest），ROI可以手动挑选或是使用某些算法自动探测和追踪。其次，对采集到的ROI数据计算颜色RGB的空间均值，可以只计算某一通道，也可以计算多通道。第三，对计算出的空间均值应用信号处理方法（低通滤波、盲源分离等）得到包含心率信息的分量；最后，通常将快速傅立叶变换（FFT）或峰值检测算法应用于该分量，以估计相应的频率Fs（或处理持续时间T（s）期间的峰值数Ns）。每分钟节拍（bpm）形式下的心率将被计算为60×Fs（或Ns / T×60）。

以上所列出的这些研究都是在受控条件下进行的，也就是说要求测量对象保持静止而且环境的光照也是保持稳定的。在大部分研究中，通常选取前额作为ROI区域，因为前额的皮肤较平较薄，在人说话或做表情时受到的影响较小。而且研究中还发现，RGB三通道里包含的信号和心率信号的关联度不一样，其中绿色通道包含了最强的心率信号，这和之前介绍PPG原理时所说的绿光可以得到更好的信号是一致的。

近年来关于rPPG测量心率的研究逐年增多，但总的来说，可以分为两个大方向：一是如何克服光照变化的影响；二是如何克服测量对象运动的影响。

三、如何克服光照变化

为了消除光照变化带来的影响，相关的研究可以分为两种方案：

图3：克服光照变化的两种方案

第一种方案是研究更好的信号分离算法，从原始信号中更好地分离出心率信号，所以其框架与之前类似，关键在于寻找更好的分离算法，但如果噪声信号与心率信号频率相近，这种方案可能很难得到很好的效果。

第二种方案假设分离出来的心率信号中既含有真实的血流脉搏信号，也含有光照变化带来的噪声信号。这种光照变化可以单独去不含皮肤的背景环境中检测，然后从心率信号中减去这个环境噪声信号，从而得到干净的真实心率。

具体来说，首先在摄像头采集数据时，人脸上有一个ROI，背景环境中有一个ROI，这两个区域的数据被分别进行采集；其次在计算空间均值时，两个ROI的数据分别进行计算；然后背景ROI中计算得到的光照变化信号将被视为噪声，从人脸ROI的信号中减去，最终得到不含噪声的心率信号。这种方案的性能取决于背景的光照变化和人脸上的光照变化是否相同或相似，如果人脸上的光照变化和背景里的光照变化是不一样的，那么就可能是无效的。

下表是这两种方案的一些代表性研究：

四、如何克服运动影响

早期基于rPPG的心率检测研究基本都是在测量对象静止的情况下进行的，因为即使是轻微的运动都会造成ROI和摄像头、光源之间的距离和角度发生变化，从而带来更大的干扰和噪声。但现实场景下检测对象不可能一直保持这种理想条件，因此越来越多的研究开始关注如何去克服运动带来的影响。相关的研究也可分为下面这几类：

图4：克服运动影响的4类方法

（1）BSS-Based Methods

BSS可以在没有先验信息的情况下从一组观察到的数据中分离出想要的信号，其中一种典型的BSS方法是独立成分分析（ICA）。基于R，G和B通道信号实际上是脉搏信号和其他信号的线性组合的假设，Poh等人[5]提出了基于特征矩阵的ICA算法的联合近似对角化方法，以去除RGB通道之间的相关性和更高阶依赖性，可以在静止和一定的轻微运动条件下提取HR分量，证明了ICA用于心率检测的可行性。许多研究者也将BSS和其他方法结合起来，取得了良好的效果[6][7]

但传统的BSS只能处理单一区域，比如将来自某一ROI区域的多个颜色通道信号分解成独立的分量。为了更准确地测量心率，研究者们还尝试在人脸上选取多个ROI区域，对多个信号集合同时进行分析，这时采用的方法被称为联合BSS（JBSS）。Guo等人首先将JBSS方法引入rPPG领域，主要应用独立矢量分析（IVA）来联合分析来自多个面部子区域的颜色信号。初步实验结果显示，与基于ICA的BSS方法相比，测量得到的心率更加准确[8]。后来Qi等人通过JBSS探索面部子区域数据集之间的相关性，提出了一种新的非接触式心率测量方法[9]。大型公共数据库的测试结果表明，他们所提出的JBSS方法优于以前基于ICA的方法。

目前关于使用JBSS进行无接触心率测量的研究还在初级阶段，将来除了来自面部子区域的颜色信号和多模态数据集之外，JBSS也可用于其他类型的多重集合来实现更准确和鲁棒的非接触式心率检测。

(2) Model-Based Methods

利用一些颜色矢量的先验信息，基于模型的方法可以更好地从采集到的原始混合数据中分离出心率信号，就实验结果来看也更优于之前大部分BSS方法。目前主要的三种基于模型的方法有CHROM[10]、PBV[11]和POS[12]。

de Haan和Jeanne[10]提出的CHROM模型假设主要的干扰来自运动中非局部的变化以及皮肤的镜面反射，并事先假设了一个恒定的标准化肤色，在这两个假设下，他们建立了一个R，G，B三通道的线性组合用以消除运动带来的影响。实验结果也表明，在运动的情况下，CHROM方法优于先前基于ICA和PCA的方法。

之后，de Haan和van Leest[11]提出了一种基于PBV的方法来增强运动的鲁棒性。基于PBV的方法利用血容量变化的信号来区分脉冲引起的颜色变化与运动带来的干扰。受试者在五种不同健身装置上锻炼条件下的实验结果显示，与基于CHROM的方法相比，基于PBV的方法在效果上有显著提升。

最近，Wang等人提出了一个基于POS的rPPG算法，在正则化的RGB空间中寻找一个与皮肤正交的平面，预先定义色调，以更好地提取脉冲信号，同样取得了良好的实验效果[12]。

(3) Motion Compensated Methods

这里提到的运动主要是指全局刚性运动或是局部非刚性运动。刚性运动通常包括头部平移和旋转，而非刚性运动通常指眨眼，做表情和嘴巴说话等。通常情况下，可靠的ROI检测和跟踪是基于rPPG进行心率检测的关键重要步骤之一，可以将其视为全局的运动补偿方式，以保证心率检测的准确性。另一方面，将脸上更容易运动或变化的区域，如眼睛、嘴唇等部位，排除在ROI之外，则可以被视为局部的运动补偿策略。

(4) Other Methods

除了上述三种方法，还有很多方法也致力于提高运动时测量心率的鲁棒性。例如Bousefsaf等人[13]使用连续小波变换从面部视频数据中分离PPG信号，并且即使在存在运动的情况下也实现了生理测量之间的高度相关性。此外，研究者们也在尝试将BSS方法与机器学习结合起来，在选择用于心率测量的最佳独立分量时取得了很好的效果。[14]

当然，在实际场景中，光照变化和运动造成的影响是同时存在的，研究者们也正在致力于同时解决这两个因素带来的影响。

五、研究思路及未来前景

由于基于视频分析的rPPG心率测量是一种低成本、舒适、方便且广泛的心率测量方法，因此对于需要长时间测量心率或不宜与受试者身体接触的情况来说，它具有很大的潜力，比如新生儿ICU监测，长期监测，烧伤或创伤患者监测，驾驶员状态评估和情感状态评估等。为了准确地实现随时随地的远程心率监测，rPPG的未来前景包括以下几个方面：

（1）利用更多的先验知识

在某些特定情况的某些假设下，前面提到的某种方法都可能更合适。一般而言，目前关于rPPG研究的第一个假设是光源具有恒定的光谱成分，只是强度会发生变化，这表明光源的光谱成分的变化将是另外的挑战。在这种情况下，如果先前已知这种光谱成分的变化信息，就可以设计专门的方法来更好地测量心率。另外，传统的基于BSS的方法是将原始的平均RGB信号分离成独立的或主要的分量，没有使用任何先验信息，而通常利用颜色矢量的信息可以更好地分离信号，因此，基于模型的方法测量心率的性能通常优于传统的基于BSS的方法。此外，数据驱动的rPPG方法可以通过创建依赖于测量对象的肤色空间并跟踪色调随时间的变化来实现更好的性能。总之，包含更多准确的先验知识可以使得基于模型和基于数据驱动的rPPG方法比传统的基于BSS的方法更加鲁棒。

所以在为某个场景设计鲁棒的rPPG算法时，应考虑rPPG的典型特性，尝试先去寻找有帮助的先验信息。

（2）建立一个公开数据集基准

实际上，研究更好的基于视频分析的rPPG方法的一个很大困难是缺乏在现实情况下记录的公开数据集，目前已发表的大多数论文都是在私人拥有的数据集上进行评估。在基于视频的rPPG心率检测领域，被用的最多的数据集是MAHNOB-HCI[15]和DEAP[16]。然而这两个数据集最初都是设计用于使用生理和视频信号进行情感识别或分析，它们都涉及与电影本身相关的光照变化以及与诱发情绪反应相关的运动,可能不是评估rPPG算法以用于更复杂的实际应用的最佳选择。因此，迫切需要一个与rPPG适用的与实际应用直接相关的新的公开数据集。

(3)多模式融合

许多研究已经证明，即使在相对较暗的照明情况下，也可以通过使用普通的RGB摄像头来测量心率，但是在完全黑暗的条件下就没办法了。为了不间断地监测心率，热/红外摄像头与RGB摄像头以及其他对光照不敏感的摄像头相结合，将是更鲁棒和连续非接触式心率测量的合适方法。

此外，心率也可以基于运动引起的变化来估计。血液通过颈动脉从心脏到头部的周期性运动会引起心脏频率的周期性变化。环境光中的这些心脏同步变化也可以从面部视频中远程检测到，这被称为远程心冲击图（rBCG）。通过这种方式，研究单独的rBCG或rPPG和rBCG的组合将是另一个前景。

（4）多人、多视角和多摄像头监测

在实际应用中，一个摄像头可能同时捕获多个人的图像，而且除了正面的脸部图像之外，还会出现脸部的其他视图、甚至脸部消失的情况，这给现有的rPPG方法带来了挑战。但随着人脸检测和跟踪技术的提高，同时测量多个人的心率应该是不难实现的。采用人脸对齐算法也可以将一部分非正面的脸部视图转为正面。但最好的方法还是当使用多个摄像头，多个视角同时监测，这样就可以研究如何去选取最好的ROI或提取更好的心率分量。这样的融合机制或信号处理方法是很重要的一个前景。

（5）监测多个生理指标

本文主要关注的是将rPPG用于心率检测，但实际上，rPPG可以被用于检测人体的很多生理指标，如心率变异性（HRV）、呼吸频率（RR）、血氧浓度、血压等等[17]。然而这些方法目前还没有被严格地评估过，因此，在更具挑战性的条件下对这些生理指标的的监测是另一个重要研究方向。

此外，由于rPPG无接触、超感知、舒适便利、不引人注目，在很多场景下具有很大的优势，可以被用于医疗护理、健康监护、测谎、情绪、疲劳状态等的监测。比较典型的两个场景：一是放在家里监测老年人的身体健康状况；二是检测司机是否疲劳驾驶。当然未来肯定还有很多的应用场景。

但有一个具有挑战性的方向是：目前所用的视频数据都是原始无压缩的，在真正应用的时候肯定不能存储这么大的数据量。那么能否从压缩的视频数据中去监测心率和其他生理指标，或者有没有更高效的方法，都是值得研究的重要方向。

图5：rPPG的未来前景

总结

基于视频分析的rPPG心率检测自从被提出以来，就一直吸引着研究者的关注，经过十多年的研究，研究对象从静止逐渐发展为运动，环境从单一光源发展为变化的多光源，rPPG的使用场景在逐渐接近真实场景，而且具有很多应用前景，是非常有潜力的一个研究方向。但是，就笔者自己所做的实验和复现来看，实际测量效果还很差强人意，仍然还有很大的研究空间。

参考资料及文献：

[1] Chen, Xun , et al. "Video-Based Heart Rate Measurement: Recent Advances and Future Prospects." IEEE Transactions on Instrumentation and Measurement (2018):1-16.

[2] W. Verkruysse, L. O. Svaasand, and J. S. Nelson, “Remote plethysmo- graphic imaging using ambient light,” Opt. Express, vol. 16, no. 26, pp. 21434–21445, 2008.

[3] M.-Z. Poh, D. J. McDuff, and R. W. Picard, “Advancements in noncontact, multiparameter physiological measurements using a web- cam,” IEEE Trans. Biomed. Eng., vol. 58, no. 1, pp. 7–11, Jan. 2011.

[4] Y. Sun, V. Azorin-Peris, R. Kalawsky, S. Hu, C. Papin, and S. E. Greenwald, “Use of ambient light in remote photoplethysmo- graphic systems: Comparison between a high-performance camera and a low-cost webcam,” J. Biomed. Opt., vol. 17, no. 3, p. 037005, 2012.

[5] M.-Z. Poh, D. J. McDuff, and R. W. Picard, “Non-contact, automated cardiac pulse measurements using video imaging and blind source separation,” Opt. Express, vol. 18, no. 10, pp. 10762–10774, 2010.

[6] S. Yu, S. Hu, V. Azorin-Peris, J. A. Chambers, Y. Zhu, and S. E. Greenwald, “Motion-compensated noncontact imaging photo- plethysmography to monitor cardiorespiratory status during exercise,” J. Biomed. Opt., vol. 16, no. 7, p. 077010, 2011.

[7] A. Al-Naji, A. G. Perera, and J. Chahl, “Remote monitoring of cardiorespiratory signals from a hovering unmanned aerial vehicle,” Biomed. Eng. Online, vol. 16, Aug. 2017, Art. no. 101.

[8] Z. Guo, Z. J. Wang, and Z. Shen, “Physiological parameter monitoring of drivers based on video data and independent vector analysis,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), May 2014, pp. 4374–4378.

[9] H. Qi, Z. Guo, X. Chen, Z. Shen, and Z. J. Wang, “Video-based human heart rate measurement using joint blind source separation,” Biomed. Signal Process. Control, vol. 31, pp. 309–320, Jan. 2017.

[10] G. de Haan and V. Jeanne, “Robust pulse rate from chrominance-based rPPG,” IEEE Trans. Biomed. Eng., vol. 60, no. 10, pp. 2878–2886, Oct. 2013.

[11] G. de Haan and A. van Leest, “Improved motion robustness of remote- PPG by using the blood volume pulse signature,” Physiol. Meas., vol. 35, no. 9, pp. 1913–1926, 2014.

[12] W. Wang, A. C. den Brinker, S. Stuijk, and G. de Haan, “Algorithmic principles of remote PPG,” IEEE Trans. Biomed. Eng., vol. 64, no. 7, pp. 1479–1491, Jul. 2017.

[13] F. Bousefsaf, C. Maaoui, and A. Pruski, “Continuous wavelet filtering on webcam photoplethysmographic signals to remotely assess the instantaneous heart rat

[14] H. Monkaresi, R. A. Calvo, and H. Yan, “A machine learning approach to improve contactless heart rate monitoring using a webcam,” IEEE J. Biomed. Health Informat., vol. 18, no. 4, pp. 1153–1160, Jul. 2014.

[15] M. Soleymani, J. Lichtenauer, T. Pun, and M. Pantic, “A multimodal database for affect recognition and implicit tagging,” IEEE Trans. Affect. Comput., vol. 3, no. 1, pp. 42–55, Jan. 2012.

[16] S. Koelstra et al., “DEAP: A database for emotion analysis; Using physiological signals,” IEEE Trans. Affective Comput., vol. 3, no. 1, pp. 18–31, Oct./Mar. 2012.

[17] Y. Sun and N. Thakor, “Photoplethysmography revisited: From contact to noncontact, from point to imaging,” IEEE Trans. Biomed. Eng., vol. 63, no. 3, pp. 463–477, Mar. 2016.