一、概述

本文主要介绍2D人脸识别中的Camera图像采集部分，目前市面上Android阵营中大部分机型都使用的是2D人脸识别；图像采集主要是获取目标的RGB图像，2D人脸图像获取相对简单，只需要获取到RGB的图像信息，不需要深度信息。获取图像数据信息的方式只需要一个普通摄像头模组即可，简单方便。

二、Camera组件架构

图1 Camera架构

图1主要展示了Camera HAL及以上的组件架构，Android 5.0对拍照API进行了全新的设计，新增了全新设计的Camera v2 API，这些API不仅大幅提高了Android系统拍照的功能，还能支持RAW照片输出，甚至允许程序调整相机的对焦模式、曝光模式、快门等。

三、Camera数据流

1. Camera整体模型

图2 Camera整体模型图

2.Camera Pipeline

图3主要描述Camera Sensor出图后经过不同图像处理后输出不同处理的图像。

其中Image Processing模块里面的一些参数是可以由应用层进行配置，比如Feature参数；

举例说明：

问题：在实际项目调试人脸识别Feature过程中就遇到过因为图质量较差的原因导致识别失败的问题，那如何解决？

解决方法：既然是图差的原因导致的，那就只能正向去优化人脸图像质量了，在图像处理模块中有一个模块叫NoiseReduction（降噪），查询默认参数为NOISE_REDUCTION_MODE_OFF

即Camera模块是关闭降噪功能的，将此参数设定为：

NOISE_REDUCTION_MODE_HIGH_QUALITY后再dump出人脸图像效果改善明显；

四、Camera Capture和Preview

1. Camera Capture

android.hardware.camera2.CaptureRequest.Builder

A builder for capture requests.

CaptureRequest 表示一个捕捉的请求。可以为不同的场景（预览、拍照）创建不同的捕捉请求，并可以配置不同的捕捉属性，如：预览分辨率，预览目标，对焦模式、曝光模式等等。

通过 CameraDevice 对象的 createCaptureRequest() 方法得到一个 CaptureRequest.Builder 对象，基本配置都是通过该构造者来配置；最后通过CaptureRequest.Builder 对象的 build() 方法便可得到 CaptureRequest 实例。

上述代码中就是通过CONTROL_AF_MODE_CONTINUOUS_PICTURE参数打开自动对焦功能；

captureBuilder.set(CaptureRequest.CONTROL_AF_MODE,CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);

2. Camera Preview

应用层下发Surface资源到Camera模块且设定重复拍照模式setRepeatingRequest即可实现拍照预览；

五、Camera拍照详细流程

1. 拍照详细流程

2. 图像格式说明

初始化时已经设置了图像格式为AIMAGE_FORMAT_YUV_420_888

下面解释下YUV三通道的数据格式排布：

planes[0] 总是Y ，planes[1] 总是U(Cb)， planes[2]总是V(Cr)。

在ImageFormat中，YUV_420_888格式的数值是35，当前格式是YUV_420_888，根据image的分辨率是 640 x 480 ，像素点个数是307200。下面分别对plane[0]、plane[1]、plane[2]作分析。

plane[0]表示Y，rowStride是640 ，其pixelStride是1 ，Y存储时中间无间隔，每行640个像素全是Y值，buffer size 是 plane[0]的1/4 ，buffer size / rowStride= 480，Y有480行。

plane[1]表示U，rowStride是320，其pixelStride也是1，连续的U之间没有间隔，每行只存储了320个数据，buffer size 是 plane[0]的1/4 ，buffer size / rowStride = 240 可知U有240行，对于U来说横纵都是1/2采样。

pane[2]和plane[1]相同。

六、Android人脸框架

1. 人脸架构

2. 人脸状态图

七、人脸Preview关键参数链路

1. Preview

2. Surface资源传递

APP层会创建Surface资源

 创建Surface之后会将此资源经过Face框架一直传递到FaceHAL如上图所示，FaceHAL会将Surface资源传递到Camera模块。具体Surface资源格式如下图所示：

Surface资源是个动态Buf，可变参数长度由numFds、numInts决定，在version numFds numInts后的参数个数为numFds+numInts。

3. native_handle_t

在代码中结构体信息如下：

在代码中结构体信息如下：

native_handle_t只是定义了一个描述buffer的结构体原型，这个原型和平台
无关，方便buffer在各个进程之间传递；


附录

NDK_VENDOR CameraAPI2预览和拍照代码实现

1. 代码链接

https://android.googlesource.com/platform/frameworks/av/+/refs/heads/master/camera/ndk/ndk_vendor/tests/AImageReaderVendorTest.cpp

2. Camera拍照流程-initImageReader

 首先会调用initImageReader()函数，创建ImageReader对象，初始化图像宽度、高度、图像输出格式、用户属性、最大图像数量；

通过AImageReader_setImageListener设置回调函数onImageAvailable

在回调函数中调用AImageReader_acquireNextImage从ImageReader队列中请求图像数据

接着调用AImage_getHardwareBuffer从HardwareBuffer对象中获取像素的实际数据：

下面是判断获取的数据是否符合预期大小：

 判断完图像长度、宽度后就是如何解析出真正需要的图像数据，使用AImage_getPlaneData函数可以解析出对应通道的像素矩阵；

3. Camera拍照流程-CameraHelper

在初始化完ImagerReader后，会新建cameraHelper对象，cameraHelper会调用initCamera()函数对Camera相关进行初始化；

（1）ACameraManager_openCamera

initCamera函数中首先调用的是ACameraManager_openCamera操作，client发起对Camera的连接动作，我们可以继续追踪下ACameraManager_openCamera具体实现如下：

继续调用ACameraManager类中的openCamera函数：

 进入到这个函数已经是比较底层，就不一个个函数讲了，其中最重要的函数调用就是connectDevice操作，这个步骤是实现Client连接CameraServer的关键一环，在项目开发过程中可能经常会遇到connect CameraServer失败的问题，比如Client进程对Camera权限没有配置，或者ImagerReader对象上一次操作没有释放导致没有调用disconnect还处于connect状态最终导致无法connect，又或者Camera资源本身被相机占用提示busy状态等等，针对各种场景需要对应措施进行处理，目的都是为了能否使Client和server连接成功。

顺便再提下open_camera中还有一个大家熟知的获取Camera服务操作：

（2）ACaptureSessionOutputContainer_create

创建ACaptureSessionOutput类型集合mOutputs

然后mOutputs集合添加ACaptureSessionOutput新建的对象mImgReaderOutput

（3）cameraHelper.takePicture

takePicture()函数被封装为触发Camera执行拍照动作；

具体实现为：

4. Camera Preview

（4）关键资源参数Surface

上面说了这么多拍照的流程，大家一定想知道Camera Preview是怎么实现的？继续跟踪Android源码；

我们先找到人脸录入的相关代码：

链接：

https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/core/java/com/android/server/biometrics/sensors/face/hidl/FaceEnrollClient.java?r=659b4ee9#54

其中有一个跟预览很关键的参数：Surface previewSurface


上面人脸录入是AndroidS以前经常用的HIDL接口方式，下面是AIDL接口
链接：
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/co
re/java/com/android/server/biometrics/sensors/face/aidl/FaceEnrollClient.java?r=659b4ee9


那有人就会问了，这个previewSurface是从哪里传下来的呢？
咱们再接着一层层挖掘。

（5）settings
代码链接：
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/packages/apps/Settings/src/c
om/android/settings/biometrics/face/FaceEnrollSidecar.java?r=35e1f0d1#51


对于使用VENDOR_NDK Camera API2接口传递Surface是使用FaceManager中的
enroll方法；
目前能从原生代码中找到的是Java层控制Camera如下：


（6）FaceManager
代码链接：
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/core/java/a
ndroid/hardware/face/FaceManager.java?r=436f041e


（7）FaceService
代码链接：
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/co
re/java/com/android/server/biometrics/sensors/face/FaceService.java?r=88a506aa


（8）FaceProvider
代码链接：
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/frameworks/base/services/co
re/java/com/android/server/biometrics/sensors/face/aidl/FaceProvider.java?r=88a506aa#334


（9）FaceEnrollClient




调用到FaceEnrollClient这层时会再调用到startHalOperation函数
，然后通过AIDL接口传递到FaceHAL层。

（10）Face AIDL
 Java层代码是怎么跟HAL层代码交互的呢？就是通过AIDL或者HIDL，这里就只讲下AIDL
接口吧，在FaceProvider中会获取FaceHal的实例：


 继续说下人脸的AIDL接口；
代码链接：
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/biometri
cs/face/aidl/android/hardware/biometrics/face/ISession.aidl?r=fa0fb439#156


（11）FaceHAL

Google还提供了带AIDL接口实现的FaceHAL示例代码；
代码链接：
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/biometri
cs/face/aidl/default/



（12）native_handle_t

 上述小节中描述了Surface参数的完整链路；
下面说下这个资源参数到底包含了哪些内容？
真正传递到HAL层的会通过native_handle_t* makeFromAidl(const
aidl::android::hardware::common::NativeHandle& handle);
函数将previewSurface转换为native_handle_t*指向的资源；
https://android-opengrok.bangnimang.net/android-12.0.0_r3/xref/hardware/interfaces/commo
n/support/include/aidlcommonsupport/NativeHandle.h?r=57fc6485#29
/prebuilts/vndk/v30/arm/include/system/core/libcuti
ls/include_vndk/cutils/native_handle.h
中定义了native_handle_t类型：


推荐Google Android源码查询Tool
GoogleOpenGrok
https://android-opengrok.bangnimang.net/android-12.0.0_r3/search?project=frameworks&full=I
CameraService&defs=&refs=&path=&hist=&type=&xrd=1&nn=1


参考文献：
图片来源链接：https://source.android.google.cn/devices/camera
Camera代码链接：
https://android.googlesource.com/platform/frameworks/av/+/refs/heads/master/camera/

推荐阅读：
独家 | Android Camera 面试流程、经验分享
一篇文章带你了解Android 最新Camera框架

《Android Camera开发入门》、《Camx初认识》已经上架，可以点击了解 -> 小驰成长圈 ｜期待见证彼此的成长  


觉得不错，点个赞呗