【人脸识别实战一】系统架构设计

  • 2020 年 4 月 19 日
  • AI

1、前言

《人脸识别实战》系列文章将讲述一个人脸识别系统的设计与实现过程。本文是系列文章的开篇，主要描述系统的整体架构和各模块的功能职责，以及系统所需要的环境依赖部署。

2、系统整体架构

系统框图.png

2.1 服务器端

（1）网络消息处理模块

主要负责管理客户端发送来的网络连接请求、消息数据的收发与数据协议解析，以及对图像数据的编解码处理。在系统中以JSON格式进行消息封装，使用TCP连接进行收发通信，而图像数据的解码仅支持OpenCV对图像数据的编解码操作。

（2）图像处理模块

图像处理模块负责处理人脸图像的数据，需要实现的功能包括：

  • 人脸检测：如果客户端发送来的图像数据是人脸图像则不需要再进行检测，否则就需要对人脸进行检测。系统将采用基于ncnn实现的MTCNN算法进行部署。
  • 人脸对齐：将检测到的人脸图像区域调整到正常角度，系统中将使用OpenCV的仿射变换来进行对齐。
  • 人脸特征提取：系统将集成FaceNet和InsightFace两种算法进行人脸的特征提取。
  • 人脸特征比对：使用欧式距离进行人脸特征比对，在阈值范围内选择最小值作为比对结果。
（3）数据库管理模块

数据库管理模块负责数据库的连接与管理以及用户数据的增删改查，主要包括新用户的信息及人脸特征的注册与删除，以及人脸特征比对时的查询操作。系统中使用MySql数据库作为存储仓库。

2.2 客户端

（1）网络处理模块

主要的功能与服务器端相同，可以复用。

（2）图像处理模块

图像处理模块在客户端中仅需要实现人脸检测及人脸对齐即可。

3、环境部署

3.1 依赖

（1）硬件依赖

  • 服务器端：需要运行的人脸特征算法比较耗时，需要GPU加速支持。

  • 客户端：摄像头读取图像，处理器仅需要CPU即可。

（2）软件依赖
  • 服务器端‘
    • Tensorflow C++动态库：用于支持FaceNet与InsightFace的运行。
    • OpenCV C++动态库：用于支持图像数据读取，编解码，人脸对齐等操作。
    • ncnn：用于实现MTCNN。
    • Cuda：支持GPU运行。
    • MySql：数据库开发库。
  • 客户端
    • OpenCV：用于支持图像数据读取，编解码及人脸对齐等操作。
    • ncnn：用于实现MTCNN算法的人脸检测。

3.2 环境部署

（1）基础依赖安装
sudo apt-get install -y cmake
sudo apt-get install -y libeigen3-dev
sudo apt-get install -y zlib1g zlib1g.dev
sudo apt-get install -y build-essential libgtk2.0-dev libavcodec-dev 
sudo apt-get install -y libavformat-dev libjpeg-dev libtiff5-dev
sudo apt-get install -y libswscale-dev libjasper-dev 
sudo apt-get install mysql-server mysql-client libmysqlclient-dev
sudo apt-get install libopenblas-dev
（2）OpenCV编译安装
wget //github.com/opencv/opencv/archive/4.1.1.zip
sudo apt-get install -y unzip
unzip -x 4.1.1.zip
OPENCV_DIR=$(pwd)/opencv-4.1.1
cd $OPENCV_DIR
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make
sudo make install
sudo echo /usr/local/lib  >> /etc/ld.so.conf.d/opencv.conf 
sudo ldconfig  
sudo echo -e "PKG_CONFIG_PATH=\$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig\nexport PKG_CONFIG_PATH"  >>  /etc/bash.bashrc
source /etc/bash.bashrc
sudo updatedb
（3）tensorflow动态库编译
  • 下载源码
git clone //github.com/tensorflow/tensorflow.git
  • cd到tensorflow目录，更新到1.14版本
git checkout r1.14
  • 执行./configure进行项目配置
  • 使用bazel工具进行编译
bazel build --config=opt //tensorflow:libtensorflow_cc.so
  • 编译完成后，在tensorflow根目录下出现 bazel-bin, bazel-genfiles 等文件夹, 按顺序执行以下命令将对应的libtensorflow_cc.so文件和其他文件拷贝进入 /usr/local/lib/ 目录完成后就准备好了tensorflow_cc.so文件，后面在C++编译环境和代码目录下编译时链接这些库即可，比如在CMakefile.txt中添加
mkdir /usr/local/include/tf 
cp -r bazel-genfiles/ /usr/local/include/tf/ 
cp -r tensorflow /usr/local/include/tf/ 
cp -r third_party /usr/local/include/tf/ 
cp -r bazel-bin/tensorflow/libtensorflow* /usr/local/lib/
  • 完成后就准备好了tensorflow_cc.so文件，后面在C++编译环境和代码目录下编译时链接这些库即可，比如在CMakefile.txt中添加
include_directories(/usr/local/include/tf)
target_link_libraries(face_id -ltensorflow_cc -ltensorflow_framework)
（4）Cuda安装

可以参考官网及其它网络资源的教程，这里不再详述。

详细的设计细节及项目源码地址在以下的公众号 AIPlayer 发布：

扫码.jpg

VirMach 便宜 VPS

QNews

QNews