标题:Qt音视频开发44-实时人脸框
作者:liudianwu
日期:2020-11-01 16:17
内容:
## 一、前言
在人脸识别到以后，需要在实时视频上将所有人脸框绘制出来，一把来说识别人脸会有多种选择，一个是识别最大人脸，这种场景主要用于刷脸门禁，还有一种是识别所有人脸，这种场景主要用于人脸识别摄像机，就是将画面中的所有人脸识别出来发给服务器，人脸框的数据主要是四个参数，左上角和右下角的位置，也可以说是x、y、width、height，可能有些做的比较好的还有倾斜角度，这个意义不是很大，人脸识别的速度一般都是飞快的，就算你用学习上用的opencv做识别也是非常快的，基本上都是毫秒级的响应，主要的耗时操作在特征值的提取，所以一般要求能够响应每个通道每秒钟25帧-30帧的画面绘制+人脸框的绘制，当然人脸框的数据可能会有多个。
用Qt来绘制人脸框，核心就是一个函数，调用QPainter的drawRect方法，传入区域即可，如果花哨点的话还可以设置边框的粗细和颜色、圆角角度等，注意圆角角度使用的是drawRoundedRect而不是drawRoundRect，很多人这里会搞错哦。近期接触的项目对人脸框的要求越来越多，之前是让用户自己拿到图片来绘制，近期索性直接将这个功能内置到视频控件中（视频控件封装了多种内核版本，有ffmpeg、vlc、mpv、海康sdk等），提供了可设置边框粗细、颜色，传入人脸框区域集合的接口，用户只要自己的算法分析拿到人脸的区域集合（用户是上帝，用户的需求就是我的需求），通过setFaceRects函数设置即可，如果要清空人脸，只要设置人脸框区域集合为空即可。总体测试下来速度非常快，可以忽略，采用的QOPenGLWidget绘制的实时图像，也支持人脸框的绘制。
## 二、功能特点
1. 支持的功能包括人脸识别、人脸比对、人脸搜索、活体检测等。
2. 在线版还支持身份证、驾驶证、行驶证、银行卡等识别。
3. 在线版的协议支持百度、旷视，离线版的支持百度，可定制。
4. 除了支持X86架构，还支持嵌入式linux比如contex-A9、树莓派等。
5. 每个功能的执行除了返回结果还返回执行用时时间。
6. 多线程处理，通过type控制当前处理类型。
7. 支持单张图片检索相似度最高的图片。
8. 支持指定目录图片用来生成人脸特征值文件。
9. 可设置等待处理图片队列中的数量。
10. 每次执行都有成功或者失败的信号返回。
11. 人脸搜索的返回结果包含了原图+最大相似度图+相似度等。
12. 人脸比对同时支持两张图片和两个特征值比对。
13. 相关功能自定义一套协议用于客户端和服务端，可以通过TCP通信进行交互。
14. 自定义人脸识别协议非常适用于中心 ..