Doi技术团队

TNN：由腾讯优图实验室打造，移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN 框架在原有 Rapidnet、ncnn 框架的基础上进一步加强了移动端设备的支持以及性能优化，同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。

MNN 是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN 已经在阿里巴巴的手机淘宝、手机天猫、优酷等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT 等场景下也有若干应用。

下面就介绍如何使用 MNN 在 Android 设备上实现图像分类。

一行代码实现人脸检测，人脸关键点检测和戴口罩检测。

本项目是使用 Paddle Lite 的 C++ 实现的人脸检测，人脸关键点检测和戴口罩检测，并将编译好的动态库和静态库部署在 Android 应用上，在 Android 设备上实现人脸检测，人脸关键点检测和戴口罩检测，所以本应不会使用到 C++ 开发，可以只使用笔者提供的 JNI 接口实现这些功能。在 ai 这个 module 是笔者在开发时使用到的，读者在使用这个项目时，完全可以删除掉，如果是看 C++ 实现，也可以看这个 module 的源码。

本教程是通过 PaddlePaddle 的 PaddleSeg 实现的，该开源库的地址为：http://github.com/PaddlPaddle/PaddleSeg ，使用开源库提供的预训练模型实现人物的图像语义分割，最终部署到 Android 应用上。关于如何在 Android 应用上使用 PaddlePaddle 模型，可以参考笔者的这篇文章《基于 Paddle Lite 在 Android 手机上实现图像分类》。

本教程开源代码地址：https://github.com/yeyupiaoling/ChangeHumanBackground

Paddle Lite 是飞桨基于 Paddle Mobile 全新升级推出的端侧推理引擎，在多硬件、多平台以及硬件混合调度的支持上更加完备，为包括手机在内的端侧场景的 AI 应用提供高效轻量的推理能力，有效解决手机算力和内存限制等问题，致力于推动 AI 应用更广泛的落地。

Tensorflow2 之后，训练保存的模型也有所变化，基于 Keras 接口搭建的网络模型默认保存的模型是 h5 格式的，而之前的模型格式是 pb。Tensorflow2 的 h5 格式的模型转换成 tflite 格式模型非常方便。本教程就是介绍如何使用 Tensorflow2 的 Keras 接口训练分类模型并使用 Tensorflow Lite 部署到 Android 设备上。

MediaPipe 是用于构建跨平台多模态应用 ML 管道的框架，其包括快速 ML 推理，经典计算机视觉和媒体内容处理（如视频解码）。下面是用于对象检测与追踪的 MediaPipe 示例图，它由 4 个计算节点组成：PacketResampler 计算器；先前发布的 ObjectDetection 子图；围绕上述 BoxTrakcing 子图的 ObjectTracking 子图；以及绘制可视化效果的 Renderer 子图。

本项目是一个简单的图像分类应用程序，演示了如何使用 PyTorch Android API。此应用程序在静态图像上运行 TorchScript 序列化的 TorchVision 预训练的 resnet18 模型，该模型作为 Android 资产打包在应用程序内部。

在上一章我们介绍了《双目摄像头测量距离》，在这个基础上，我们来了解如何在 Android 上使用双目测距算法。通过本教程，你不仅掌握如何在 Android 中使用 SBM 等双目测距算法，顺便也了解到如何在 Android Studio 配置 OpenCV，通过使用 OpenCV 可以在 Android 中实现很多图像处理的功能。

目前大部分的手机都有语音助手，例如小米手机的小爱同学，VIVO 的小 V 等等，通过智能助手我们可以快速询一些资讯或者操作手机，例如询问天气，发送微信给你的好友等等。这篇文章就来介绍如何使用 AIUI 快速搭建类似这样的智能助手。

我们在 Android 应用做语音识别的时候，一般是用户唤醒之后开始说话。当用户超过一定的时候没有说话，就停止录音，并把录音发送到语音识别服务器，获取语音识别结果。本教程就是解决如何检测用户是否停止说话，我们使用的是 WebRTC 架构的源代码中的 vad 代码实现的。

TensorFlow Lite 是一款专门针对移动设备的深度学习框架，移动设备深度学习框架是部署在手机或者树莓派等小型移动设备上的深度学习框架，可以使用训练好的模型在手机等设备上完成推理任务。这一类框架的出现，可以使得一些推理的任务可以在本地执行，不需要再调用服务器的网络接

在之前笔者有介绍过《在 Android 设备上使用 PaddleMobile 实现图像分类》，使用的框架是百度开源的 PaddleMobile。在本章中，笔者将会介绍使用腾讯的开源手机深度学习框架 ncnn 来实现在 Android 手机实现图像分类，这个框架开源时间比较长，相对稳定很多。

在之前笔者有介绍过《在 Android 设备上使用 PaddleMobile 实现图像分类》，使用的框架是百度开源的 PaddleMobile。在本章中，笔者将会介绍使用小米的开源手机深度学习框架 MACE 来实现在 Android 手机实现图像分类。

现在越来越多的手机要使用到深度学习了，比如一些图像分类，目标检测，风格迁移等等，之前都是把数据提交给服务器完成的。但是提交给服务器有几点不好，首先是速度问题，图片上传到服务器需要时间，客户端接收结果也需要时间，这一来回就占用了一大半的时间，会使得整体的预测

在 Android 6.0（API 级别 23）以下申请权限是非常简单的，直接在 AndroidManifest.xml 这个配置文件中加入申请权限的列表就可以了，比如我要申请四个权限，如下：

OKhttp3 是一个非常强大的 Android 网络框架，它是由 Square 公司开发并开源的，很大 Android 开发者都会使用到，所以我也要来学学。

有很多的应用都会有保存密码和账号的功能，比如 QQ。接下来就讲讲使用 SharedPreferences 来保存密码和账号，也许有些人会考虑的数据库，但是我个人认为对于保存简单的数据，使用的数据库就大材小用了，SharedPreferences 比较轻量级

读取短信和联系人经常会用到，要了解的是这是内容提供者（contentProvider）的知识点，大家都知道数据库是在 data-->data 对应的包目录下，其他应用是不可以访问到的，如果有些数据要提供给其他的应用，比如通信录，其他应用想获取它的数据怎么办呢，这时内容提供者就出现了，预先写好了一些操作数据库的方法，因为方法是开发这个应用的开发者提供的，所以保证了数据库的安全操作，又能共享数据。

像音乐这种耗时的和适合后台操作的应当放在 Service 中进行操作，而不是放在 Activity，下面就介绍使用 Service 的音乐播放器