头部姿态估计 – Android
- 2019 年 10 月 3 日
- 筆記
概括
通过Dlib获得当前人脸的特征点，然后通过旋转平移标准模型的特征点进行拟合，计算标准模型求得的特征点与Dlib获得的特征点之间的差，使用Ceres不断迭代优化，最终得到最佳的旋转和平移参数。
Android版本在原理上同C++版本：头部姿态估计 – OpenCV/Dlib/Ceres。
主要介绍在移植过程中遇到的问题。
使用环境
系统环境：Ubuntu 18.04
Java环境：JRE 1.8.0
使用语言：C++(clang), Java
编译工具：Android Studio 3.4.1
- CMake 3.10.2
- LLDB
- NDK 20.0
上述工具在Android Studio中SDK的管理工具里下载即可。
第三方工具
Dlib：用于获得人脸特征点
Ceres：用于进行非线性优化
源代码
https://github.com/Great-Keith/head-pose-estimation/tree/master/android/landmark-fitting
准备工作
第三方库的Android接口
Dlib
使用的GitHub上提供的现成接口：https://github.com/tzutalin/dlib-android
该项目还提供了具体的app样例：https://github.com/tzutalin/dlib-android-app/
我们所做的app就是建立在该app样例之上。
Ceres
具体使用可以参见前一篇随笔：Android平台使用Ceres Solver
总之最后我们整合Dlib和Ceres得到了我们app的基本框架：https://github.com/Great-Keith/dlib-android-app
增加前置摄像头转换
增设转换按钮
最初的样例dlib-android-app仅提供了后置摄像头，这对于单人测试很不方便，因此我们修改代码来实现一个切换前后摄像头的按钮。
首先找到相机视图res/layout/camera_connection_fragment.xml，在其右上角增加 Switch 按钮。
最后我们找到该app的实现细节，是通过自己新建一个CameraConnectionFragment类来替换原本的Fragment，从而实现的一系列操作。该类中setUpCameraOutputs方法实现了对相机的选择，其会便利移动设备上可用的所有相机，优先选择后置摄像头。
给该方法增加一个boolean b参数，用于选择摄像头：
if(b) { // 只使用后置摄像头 // If facing back camera or facing external camera exist, we won't use facing front camera if (num_facing_back_camera != null && num_facing_back_camera > 0) { // 前置摄像头跳过(如果有后置摄像头) // We don't use a front facing camera in this sample if there are other camera device facing types if (facing != null && facing == CameraCharacteristics.LENS_FACING_FRONT) { continue; } } } else { // 只使用前置摄像头 if (num_facing_front_camera != null && num_facing_front_camera > 0) { // 前置摄像头跳过(如果有后置摄像头) // We don't use a front facing camera in this sample if there are other camera device facing types if (facing != null && facing == CameraCharacteristics.LENS_FACING_BACK) { continue; } } }然后在初始化的过程中关联上我们的Switch按钮：
switchBtn = view.findViewById(R.id.cameraSwitch); switchBtn.setOnCheckedChangeListener(new CompoundButton.OnCheckedChangeListener() { @Override public void onCheckedChanged(CompoundButton compoundButton, boolean b) { closeCamera(); openCamera(textureView.getWidth(), textureView.getHeight(), b); } });[NOTE] 通过openCamera将参数b传输给setUpCameraOutputs。
修复前置摄像头倒转
修改完后我们运行程序，会发现出现预显示窗口倒转的情况，因此我们需要对预显示窗口的显示进行翻转。
找到相机类处理捕捉到的画面的监听器OnGetImageListener，其中对捕捉到的画面进行处理的函数即为drawResizedBitmap，在最终绘制之前，增加矩阵翻转。
/* If using front camera, matrix should rotate 180 */ if(!switchBtn.isChecked()) { matrix.postTranslate(-dst.getWidth() / 2.0f, -dst.getHeight() / 2.0f); matrix.postRotate(180); matrix.postTranslate(dst.getWidth() / 2.0f, dst.getHeight() / 2.0f); } final Canvas canvas = new Canvas(dst); canvas.drawBitmap(src, matrix, null);[NOTE] 在该类中没有办法直接获取CameraId来判断当前使用的相机是前置还是后置，因此我们通过之前的Switch按钮来进行判断。查阅可能可以使用的Camera类在API 21以后淘汰使用了。
主要过程
还是在相机的监听器当中，我们可以看到dlib获得的特征点数据，并进行绘制。
mInferenceHandler.post( new Runnable() { @Override public void run() { // ... long startTime = System.currentTimeMillis(); List<VisionDetRet> results; synchronized (OnGetImageListener.this) { results = mFaceDet.detect(mCroppedBitmap); } long endTime = System.currentTimeMillis(); mTransparentTitleView.setText("Time cost: " + String.valueOf((endTime - startTime) / 1000f) + " sec"); // Draw on bitmap if (results != null) { for (final VisionDetRet ret : results) { // 绘制人脸框和特征点 // ... } } } mWindow.setRGBBitmap(mCroppedBitmap); mIsComputing = false; } });我们选择在绘制人脸框和特征点的for循环中增加优化。
首先将特征点复制一份Point数组，用于作为传入参数。
/* Transform landmarks to array, which is needed by JNI */ Point[] tmp = landmarks.toArray(new Point[0]);初始化好double x[]随后我们可以调用我们的CeresSolver类来进行处理，得到的最优解通过指针x返回。
CeresSolver.solve(x, tmp);最后我们再调用两个方法来进行将三维特征点转化为二维的映射。
Point3f[] points3f = CeresSolver.transform(x); Point[] points2d = CeresSolver.transformTo2d(points3f);[NOTE] 项目中的二维点使用android.graphics.Point（对应C++中使用的dlib::point），而三维点使用我们自己建的一个类Point3f（对应C++中使用的dlib::vector<double, 3>）。
综上，我们实际上要实现的是一个提供Ceres支持的工具类CeresSolver，下面具体描述。
CeresSolver类与其JNI接口
初始化
我们需要读取标准模型特征点的三维坐标，该坐标存储于landmarks.txt文件中。对于Android工程，我们将该文件放在assets目录下。在CameraActivity初始化onCreate的时候顺带进行初始化：
CeresSolver.init(getResources().getAssets().open("landmarks.txt"));该初始化具体过程如下：
public static void init(InputStream in) { try { InputStreamReader inputReader = new InputStreamReader(in); BufferedReader bufReader = new BufferedReader(inputReader); String line; int i = 0; while((line = bufReader.readLine()) != null) { String[] nums = line.split(" "); modelLandmarks[i] = new Point3f(Double.valueOf(nums[0]), Double.valueOf(nums[1]), Double.valueOf(nums[2])); i++; } } catch (Exception e) { Log.e(TAG, "Loading model landmarks from file failed."); e.printStackTrace(); } Log.i(TAG, "Loading model landmarks from file succeed."); init_(); } init_是一个JNI的函数，用于将CeresSolver类中读取的modelLandmark数据读取到本地变量｀｀model_landmark，并提前读取一些jmethodID和jfieldID。
[NOTE] 其实也可以通过调用jmethodID或者jfieldID来获得Java类中的modelLandmark，但我目前不是很清楚两种方法之间在效率上的差异。
[NOTE] 将这些数据提前在cpp文件中读取并保存成静态变量，这个过程有一些问题，由于Java的垃圾回收机制，JNI中的静态类型，有些会失去关联（可能是指针？）。比如jfieldID的调用往往没有问题，但是jclass就会失效，因此jclass类型无法提前先初始化好。
解决最小二乘
同C++一样，提前定义好CostFunctor:
struct CostFunctor { public: explicit CostFunctor(JNIEnv *_env, jobjectArray _shape){ env = _env; shape = _shape; } bool operator()(const double* const x, double* residual) const { /* Init landmarks to be transformed */ fitting_landmarks.clear(); for (auto &model_landmark : model_landmarks) fitting_landmarks.push_back(model_landmark); transform(fitting_landmarks, x); std::vector<Point2d> model_landmarks_2d; landmarks_3d_to_2d(fitting_landmarks, model_landmarks_2d); /* Calculate the energe (Euclid distance from two points) */ for(unsigned long i=0; i<LANDMARK_NUM; i++) { jobject point = env->GetObjectArrayElement(shape, static_cast<jsize>(i)); long tmp1 = env->GetIntField(point, getX2d) - model_landmarks_2d.at(i).x; long tmp2 = env->GetIntField(point, getY2d) - model_landmarks_2d.at(i).y; residual[i] = sqrt(tmp1 * tmp1 + tmp2 * tmp2); } return true; } private: JNIEnv *env; jobjectArray shape; /* 3d landmarks coordinates got from dlib */ }; 基本与C++相同，唯一不同的地方是shape的类型直接使用的JNI中的类型jobjectArray，并且需要使用到调用，因此需要在初始化的时候导入JNIEnv环境。
其余在调用部分就和C++部分基本相同，所有的JNI函数都需要注意在参数传入和传出的时候进行类型的转变。
坐标转化
涉及三维点旋转和平移的转化以及三维点转二维点的转化，同C++中的涉及。
需要另外提供JNI接口给Java中的类使用，主要涉及jobject的方法调用、成员访问等等。当然，也可以在Java中实现这些方法，感觉效率会更高一些。这一部分具体可以看源代码，其中有详细的注释。
信息打印（Debug）
在Android项目中，输出的消息很多，debug的难度是比较大的，因此需要灵活使用打印信息来获得所需要的信息。其中Java程序中可以使用android.util.Log来进行输出，可以在logcat或者run中进行查看。具体比如：
Log.i(TAG, String.format("After Solve x: %f %f %f %f %f %f", x[0], x[1], x[2], x[3], x[4], x[5])); 在JNI的cpp文件中，定义如下宏定义来进行输出：
#define TAG "CERES-CPP" #define LOGD(...) __android_log_print(ANDROID_LOG_DEBUG, TAG,__VA_ARGS__) #define LOGI(...) __android_log_print(ANDROID_LOG_INFO, TAG,__VA_ARGS__) #define LOGW(...) __android_log_print(ANDROID_LOG_WARN, TAG,__VA_ARGS__) #define LOGE(...) __android_log_print(ANDROID_LOG_ERROR, TAG,__VA_ARGS__) #define LOGF(...) __android_log_print(ANDROID_LOG_FATAL, TAG,__VA_ARGS__) 使用该Log需要在CMakeLists.txt中需要链接log库。
结果测试
进入相机界面，并进行摄像头的切换。
这边可以看到，刚打开的时候，这个求解得到的点是非常混乱的，这是由于初始值没有设置好，在经过一段时间后就会进入正常状态。
*[NOTE] 后来我在读入的模型特征点的时候加入一个缩放系数（1/100），效果得到很好的改善。
实时效果
总结
因为整体逻辑在C++已经实现了，所以复制这个逻辑的过程并不困难。难点主要是在JNI的使用上，没有接触过NDK的我在将Ceres移植到安卓平台上花费了大量的时间，最后写了Android平台使用Ceres Solver总结了这个过程。当这一部分完成之后，后面的过程就快了起来，但关于JNI的很多特性，跟Java息息相关，还需要更多的摸索。
进一步可以优化
- 初始值选择问题；
- 去除app中的识别行人模块；
- 优化使用Ceres求解最小二乘的过程；
- 前后摄像头显示区别；
- 优化接口，使其更据扩展性。
