以前人脸识别在很多人的印象中，仅存在于虚拟的科幻电影中。但如今随着技术的快速发展，人脸识别技术已走进每家每户，平时进小区、过安检、用一下手机……都免不了需要“刷”脸。人脸识别技术给我们的生活制造了许多便利，但与此同时，也给我们带来了诸多安全挑战。

人脸数据作为个人信息的重要载体，“如何在人脸识别技术落地的过程中，安全有效地保护数据安全”成为大家需要探讨的问题。针对人脸识别训练的数据安全问题，腾讯优图实验室研发了一种基于联邦学习的人脸识别训练框架，通过引入局部联邦动量和联邦验证，可以有效提升联邦范式下的人脸识别效果，不仅能够解决数据孤岛问题，同时还具有模型质量无损、确保数据安全的优势。

近日，腾讯优图实验室优Tech分享系列以「基于数据安全保护的人脸识别方法」为主题，分别从人脸识别数据安全背景、人脸识别技术介绍、基于联邦学习的人脸识别训练等角度，进行了详细讲解。

近年来关于“人脸数据泄露事件”偶有发生，相关事件引起了社会大众的广泛关注，也推动了相关法律法规的完善和落地。

数据安全保护相关的法律法规一直在不断演进中，影响比较大的是欧盟2018年提出的《通用数据保护条例》，简称为“GDPR”。我国于今年11月正式出台《个人信息保护法》，为保护个人信息权益提供了明确的法律依据。

人脸识别应用通常由如下几个流程组成，输入一张图片后，首先会经过人脸检测、人脸配准、人脸活体、人脸识别提特征四个步骤，然后再去做1v1以及1vN的比对。

人脸识别的流程核心在于人脸提特征模型，目前主流的人脸识别训练方法以数据集中式训练为主，通过对损失函数进行优化来提升模型的效果，需要收集数据，然后进行训练，随着监管力度的不断加强，这种集中式训练的方法未来很难持续。

联邦学习是一种新型范式的分布式训练，传统的分布式训练中经常会使用到的一种架构为PS架构。PS架构中，worker节点每一步都需要向参数服务器传送梯度，参数服务器平均梯度后将参数更新，然后转发给worker节点再进行训练，worker节点与参数服务器通常在同一个网络域中，且每个worker数据上都有训练数据的副本。但是在联邦训练的架构中，worker节点与参数服务器是不同域的，这就造成了一些与分布式训练的区别：

联邦学习目前的研究方向主要为以下三个方面：

联邦平均是一个比较简单的框架，经过实验发现，通过相同的epoch训练之后，联邦平均算法相比传统的集中式训练，其loss会更高，并且相关的测试精度也明显低一些。部分研究工作解释为这是一个Client-drift的问题，即客户端漂移，联邦学习每个客户端的数据是非独立同分布的，各个客户端在本地训练的过程中，每个方向要与集中式训练，或者与最优的方向存在一定的偏差。联邦学习只是简单的平均，与理想的优化方向是存在一定的偏差，所以才会导致性能的下降。

针对Client drift问题，优图提出了一种局部联邦动量方法。如上图所示，在服务端计算联邦动量估计全局模型更新的方向，并在在客户端Local训练的过程中加入联邦动量来“纠正”Local SGD训练中的客户端漂移，从而加快模型的收敛速度。

这里使用了三个数据集训练得到模型，做网格搜索，验证不同权重下组合的测试效果，发现不同的训练阶段中最优的点（红色代表效果最优）权重的组合不一样。在训练的过程中，联邦是简单平均的思路，权重比较固定，如果用静态的固定方法，每一步则不是最优。

针对上述现象，优图提出了联邦验证方法，对不同的权重组合进行验证，从中寻找出最好的权重。这个框架核心的模块包括了客户端的训练器、参数服务器以及验证器。将参数服务器产生的权重组合发给验证器进行验证，从中选择最优权重组合，重新聚合，再返回给客户端进行训练。

如果验证器由单验证器扩展到多验证器，考虑到不同验证集指标数值范围是不一样的，因此需要对不同验证集的分数进行规一化。此外，在搜索的过程中会出现一些比较极端的情况，对模型精度有比较大的影响，所以这里引入一个平滑的系数来平滑权重。

除此之外，权重搜索和模型评估是会增加整个系统的耗时，如果采用同步框架，计算效率非常低。这里实现了一种异步的联邦验证机制。右下角可以看到，带“A”的是异步的框架，“R”代表随机搜索，“B”代表贝叶斯搜索，异步与同步在几个测试集上的表现比较一致，甚至在部分数据集上异步效果略好一些。但是在时间上，异步的时间明显低于同步的时间。

以下是部分实验结果：

• 第一个实验是验证权重搜索策略的有效性，单验证器实验中对应的验证集上结果是最优的。

• 第二个是多验证器实验，除了在验证集上测试外，测试集IJBB和IJBC的结果验证了方法的泛化效果，随机搜索和贝叶斯搜索在精度上没有明显的差异，但是相比联邦平均有很大的提升。此外，联邦动量加联邦验证两个方法的效果是可以叠加的，甚至在部分指标上可以超过集中式训练的效果。

• 第三个实验是关于分数归一化的退化实验，验证了分数归一化的有效性。

• 第四个实验是训练方数增加实验，对原有的三个数据集进行了拆分，将联邦的方数增加至12方，继续验证了方法的有效性。