Doi技术团队

年龄性别识别，基于insightface功能模块开发的，支持多张人脸同时检测和识别。

本项目是PaddlePaddle 2.0动态图实现的CRNN文字识别模型，可支持长短不一的图片输入。CRNN是一种端到端的识别模式，不需要通过分割图片即可完成图片中全部的文字识别。CRNN的结构主要是CNN+RNN+CTC，它们分别的作用是，使用深度CNN，对输入图像提取特征，得到特征图。使用双向RNN（BLSTM）对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签（真实值）分布。使用 CTC Loss，把从循环层获取的一系列标签分布转换成最终的标签序列。

这个模型类型CRNN，前面使用卷积层提前图像特征，后面用一个GRU，他是LSTM的变种，最后的全连接层，输出的大小为词汇表+1，因为还有一个空格字符，这个是CTC需要的。

MTCNN，Multi-task convolutional neural network（多任务卷积神经网络），将人脸区域检测与人脸关键点检测放在了一起，总体可分为P-Net、R-Net、和O-Net三层网络结构。它是2016年中国科学院深圳研究院提出的用于人脸检测任务的多任务神经网络模型，该模型主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高效的人脸检测。这三个级联的网络分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net。和很多处理图像问题的卷积神经网络模型，该模型也用到了图像金字塔、边框回归、非最大值抑制等技术。

在数据预处理方便，本项目主要是将音频执行梅尔频率倒谱系数(MFCCs)处理，然后在使用出来的数据进行训练，在读取音频时，使用 librosa.load(wav_path, sr=16000)函数读取音频文件，再使用 librosa.feature.mfcc()执行数据处理。MFCC全称梅尔频率倒谱系数。梅尔频率是基于人耳听觉特性提出来的， 它与Hz频率成非线性对应关系。梅尔频率倒谱系数(MFCC)则是利用它们之间的这种关系，计算得到的Hz频谱特征，主要计算方式分别是预加重，分帧，加窗，快速傅里叶变换(FFT)，梅尔滤波器组，离散余弦变换(DCT)，最后提取语音数据特征和降低运算维度。本项目使用的全部音频的采样率都是16000Hz，如果其他采样率的音频都需要转为16000Hz，create_manifest.py程序也提供了把音频转为16000Hz。

在这个任务是对坐标进行回归，使用均方误差（Mean Square error ）损失函数 paddle.nn.MSELoss() 来做计算，飞桨 2.0 中，在 nn 下将损失函数封装成可调用类。这里使用 paddle.Model 相关的 API 直接进行训练，只需要定义好数据集、网络模型和损失函数即可。

使用模型代码进行 Model 实例生成，使用 prepare 接口定义优化器、损失函数和评价指标等信息，用于后续训练使用。在所有初步配置完成后，调用 fit 接口开启训练执行过程，调用 fit 时只需要将前面定义好的训练数据集、测试数据集、训练轮次（Epoch）和批次大小（batch_size）配置好即可。

手写数字的MNIST数据集，包含60,000个用于训练的示例和10,000个用于测试的示例。这些数字已经过尺寸标准化并位于图像中心，图像是固定大小(28x28像素)，其值为0到1。该数据集的官方地址为：http://yann.lecun.com/exdb/mnist 。

本案例将会使用飞桨提供的API完成数据集的下载并为后续的训练任务准备好数据迭代器。cifar10数据集由60000张大小为32 * 32的彩色图片组成，其中有50000张图片组成了训练集，另外10000张图片组成了测试集。这些图片分为10个类别，将训练一个模型能够把图片进行正确的分类。

TNN：由腾讯优图实验室打造，移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。

MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。

下面就介绍如何使用MNN在Android设备上实现图像分类。

一行代码实现人脸检测，人脸关键点检测和戴口罩检测。

本项目是使用Paddle Lite 的C++实现的人脸检测，人脸关键点检测和戴口罩检测，并将编译好的动态库和静态库部署在Android应用上，在Android设备上实现人脸检测，人脸关键点检测和戴口罩检测，所以本应不会使用到C++开发，可以只使用笔者提供的JNI接口实现这些功能。在 ai这个module是笔者在开发时使用到的，读者在使用这个项目时，完全可以删除掉，如果是看C++实现，也可以看这个module的源码。

然后开始编写人脸识别和人脸注册工具类，使用 insightface.app.FaceAnalysis()可以获取模型对象，这里包含了三个模型，首先是人脸检测模型，然后是人脸特征提取模型，和最后的性别年龄识别模型。使用 model.prepare()可以配置 ctx_id指定使用哪一块GPU，如果是负数则是使用CPU执行预测，nms配置的是人脸检测的阈值。load_faces()函数是加载人脸库中的人脸，用于之后的人脸识别对比。

本教程是通过PaddlePaddle的PaddleSeg实现的，该开源库的地址为：http://github.com/PaddlPaddle/PaddleSeg ，使用开源库提供的预训练模型实现人物的图像语义分割，最终部署到Android应用上。关于如何在Android应用上使用PaddlePaddle模型，可以参考笔者的这篇文章《基于Paddle Lite在Android手机上实现图像分类》。

本教程开源代码地址：https://github.com/yeyupiaoling/ChangeHumanBackground

PP-YOLO是PaddleDetection优化和改进的YOLOv3的模型，其精度(COCO数据集mAP)和推理速度均优于YOLOv4模型，PP-YOLO在COCO test-dev2017数据集上精度达到45.9%，在单卡V100上FP32推理速度为72.9 FPS, V100上开启TensorRT下FP16推理速度为155.6 FPS。

本教程源码地址：https://github.com/yeyupiaoling/PP-YOLO

Paddle Lite是飞桨基于Paddle Mobile全新升级推出的端侧推理引擎，在多硬件、多平台以及硬件混合调度的支持上更加完备，为包括手机在内的端侧场景的AI应用提供高效轻量的推理能力，有效解决手机算力和内存限制等问题，致力于推动AI应用更广泛的落地。

MASR使用的是门控卷积神经网络（Gated Convolutional Network），网络结构类似于Facebook在2016年提出的Wav2letter，只使用卷积神经网络（CNN）实现的语音识别。但是使用的激活函数不是 ReLU或者是 HardTanh，而是 GLU（门控线性单元）。因此称作门控卷积网络。根据我的实验，使用 GLU的收敛速度比 HardTanh要快。

• 以下用字错误率CER来衡量模型的表现，CER = 编辑距离 / 句子长度，越低越好，大致可以理解为 1 - CER 就是识别准确率。

Tensorflow2之后，训练保存的模型也有所变化，基于Keras接口搭建的网络模型默认保存的模型是h5格式的，而之前的模型格式是pb。Tensorflow2的h5格式的模型转换成tflite格式模型非常方便。本教程就是介绍如何使用Tensorflow2的Keras接口训练分类模型并使用Tensorflow Lite部署到Android设备上。

本教程是教程是介绍如何使用Tensorflow实现的MTCNN和MobileFaceNet实现的人脸识别，并不介绍如何训练模型。关于如何训练MTCNN和MobileFaceNet，请阅读这两篇教程 MTCNN-Tensorflow 和 MobileFaceNet_TF ，这两个模型都是比较轻量的模型，所以就算这两个模型在CPU环境下也有比较好的预测速度，众所周知，笔者比较喜欢轻量级的模型，如何让我从准确率和预测速度上选择，我会更倾向于速度，因本人主要是研究深度学习在移动设备等嵌入式设备上的的部署。好了，下面就来介绍如何实现这两个模型实现三种人脸识别，使用路径进行人脸注册和人脸识别，使用摄像头实现人脸注册和人脸识别，通过HTTP实现人脸注册和人脸识别。

本项目是基于VGG-Speaker-Recognition开发的，本项目主要是用于声纹识别，也有人称为说话人识别。本项目包括了自定义数据集的训练，声纹对比，和声纹识别。

今天来水一片文章，基于开源的Pyramidbox大规模人脸检测编写的PaddlePaddle教程，为了方便训练预测，本教程做了一定的修改。这个模型虽然大，但是符合大规模人群中也可以准确地检测到人脸，就是遮挡比较严重也能正确检测。

PyramidBox 是一种基于SSD的单阶段人脸检测器，它利用上下文信息解决困难人脸的检测问题。如下图所示，PyramidBox在六个尺度的特征图上进行不同层级的预测。该工作主要包括以下模块：LFPN、Pyramid Anchors、CPM、Data-anchor-sampling。