Doi技术团队

在 Android 中使用 Netty-Socket 互相发送图片和文字，

首先是服务端，服务端的应用在 server 下，其中最重要的是 NettyServerUtil.java，这里包含了服务的启动和发送数据，这数据包括文字和图像。

这段代码是启动 Netty 服务的，其中非常重要的是 ch.pipeline().addLast(new ByteArrayEncoder()); 和 ch.pipeline().addLast(new ByteArrayDecoder());，因为我们要传输的都是基于 byte[] 的，同时还要 LineBasedFrameDecoder 设置最大包的长度。

Android 使用 CameraX 实现相机快速实现对焦和放大缩小，本教程介绍如何使用 CameraX 实现相机点击对焦和放大缩小，单击对焦指定位置，使用双指放大缩小图像。下面是页面代码，使用 PreviewView 预览相机图像，然后使用 FocusImageView 自定义 View 来显示对焦框。CameraXPreviewViewTouchListener.kt 点监听事件，用于监听屏幕的点击监听动作。

CameraX 是谷歌提供的相机框架，这个框架非常强大，可以实现很方便点击对焦，放大缩小，保存优质的图像等等。最重要的是 androidx.camera.view.PreviewView 控件，这个可以实现预览图像，点击监听事件等操作都可以在这里完成。不过这里只介绍预览图像和拍照保存。startCamera() 方法可以实现预览操作，代码都有注释。CameraX 提供了 imageCapture.takePicture() 接口用于保存图像。

CameraKit 框架是一款极其简单的 Android 相机框架，代码量比使用原生的少很多。本章教程我们就来使用 CameraKit 搭建一个简单的相机，并实现点击保存图像。

Java 代码就简单很多了，其中要在 Activity 生命周期中也添加 CameraKitView 的什么周期。CameraKit 也提供了动态权限申请接口，使用 cameraKitView.onRequestPermissionsResult() 接口实现动态权限申请，这样就完成了相机预览功能。拍照保存也很简单，使用 cameraKitView.captureImage() 就可以保存图像到本地了。这也太简单了。

TNN：由腾讯优图实验室打造，移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN 框架在原有 Rapidnet、ncnn 框架的基础上进一步加强了移动端设备的支持以及性能优化，同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。

MNN 是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN 已经在阿里巴巴的手机淘宝、手机天猫、优酷等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT 等场景下也有若干应用。

下面就介绍如何使用 MNN 在 Android 设备上实现图像分类。

一行代码实现人脸检测，人脸关键点检测和戴口罩检测。

本项目是使用 Paddle Lite 的 C++ 实现的人脸检测，人脸关键点检测和戴口罩检测，并将编译好的动态库和静态库部署在 Android 应用上，在 Android 设备上实现人脸检测，人脸关键点检测和戴口罩检测，所以本应不会使用到 C++ 开发，可以只使用笔者提供的 JNI 接口实现这些功能。在 ai 这个 module 是笔者在开发时使用到的，读者在使用这个项目时，完全可以删除掉，如果是看 C++ 实现，也可以看这个 module 的源码。

本教程是通过 PaddlePaddle 的 PaddleSeg 实现的，该开源库的地址为：http://github.com/PaddlPaddle/PaddleSeg ，使用开源库提供的预训练模型实现人物的图像语义分割，最终部署到 Android 应用上。关于如何在 Android 应用上使用 PaddlePaddle 模型，可以参考笔者的这篇文章《基于 Paddle Lite 在 Android 手机上实现图像分类》。

本教程开源代码地址：https://github.com/yeyupiaoling/ChangeHumanBackground

Paddle Lite 是飞桨基于 Paddle Mobile 全新升级推出的端侧推理引擎，在多硬件、多平台以及硬件混合调度的支持上更加完备，为包括手机在内的端侧场景的 AI 应用提供高效轻量的推理能力，有效解决手机算力和内存限制等问题，致力于推动 AI 应用更广泛的落地。

Tensorflow2 之后，训练保存的模型也有所变化，基于 Keras 接口搭建的网络模型默认保存的模型是 h5 格式的，而之前的模型格式是 pb。Tensorflow2 的 h5 格式的模型转换成 tflite 格式模型非常方便。本教程就是介绍如何使用 Tensorflow2 的 Keras 接口训练分类模型并使用 Tensorflow Lite 部署到 Android 设备上。

MediaPipe 是用于构建跨平台多模态应用 ML 管道的框架，其包括快速 ML 推理，经典计算机视觉和媒体内容处理（如视频解码）。下面是用于对象检测与追踪的 MediaPipe 示例图，它由 4 个计算节点组成：PacketResampler 计算器；先前发布的 ObjectDetection 子图；围绕上述 BoxTrakcing 子图的 ObjectTracking 子图；以及绘制可视化效果的 Renderer 子图。

本项目是一个简单的图像分类应用程序，演示了如何使用 PyTorch Android API。此应用程序在静态图像上运行 TorchScript 序列化的 TorchVision 预训练的 resnet18 模型，该模型作为 Android 资产打包在应用程序内部。

在上一章我们介绍了《双目摄像头测量距离》，在这个基础上，我们来了解如何在 Android 上使用双目测距算法。通过本教程，你不仅掌握如何在 Android 中使用 SBM 等双目测距算法，顺便也了解到如何在 Android Studio 配置 OpenCV，通过使用 OpenCV 可以在 Android 中实现很多图像处理的功能。

目前大部分的手机都有语音助手，例如小米手机的小爱同学，VIVO 的小 V 等等，通过智能助手我们可以快速询一些资讯或者操作手机，例如询问天气，发送微信给你的好友等等。这篇文章就来介绍如何使用 AIUI 快速搭建类似这样的智能助手。

我们在 Android 应用做语音识别的时候，一般是用户唤醒之后开始说话。当用户超过一定的时候没有说话，就停止录音，并把录音发送到语音识别服务器，获取语音识别结果。本教程就是解决如何检测用户是否停止说话，我们使用的是 WebRTC 架构的源代码中的 vad 代码实现的。

TensorFlow Lite 是一款专门针对移动设备的深度学习框架，移动设备深度学习框架是部署在手机或者树莓派等小型移动设备上的深度学习框架，可以使用训练好的模型在手机等设备上完成推理任务。这一类框架的出现，可以使得一些推理的任务可以在本地执行，不需要再调用服务器的网络接

在之前笔者有介绍过《在 Android 设备上使用 PaddleMobile 实现图像分类》，使用的框架是百度开源的 PaddleMobile。在本章中，笔者将会介绍使用腾讯的开源手机深度学习框架 ncnn 来实现在 Android 手机实现图像分类，这个框架开源时间比较长，相对稳定很多。

在之前笔者有介绍过《在 Android 设备上使用 PaddleMobile 实现图像分类》，使用的框架是百度开源的 PaddleMobile。在本章中，笔者将会介绍使用小米的开源手机深度学习框架 MACE 来实现在 Android 手机实现图像分类。

现在越来越多的手机要使用到深度学习了，比如一些图像分类，目标检测，风格迁移等等，之前都是把数据提交给服务器完成的。但是提交给服务器有几点不好，首先是速度问题，图片上传到服务器需要时间，客户端接收结果也需要时间，这一来回就占用了一大半的时间，会使得整体的预测

在 Android 6.0（API 级别 23）以下申请权限是非常简单的，直接在 AndroidManifest.xml 这个配置文件中加入申请权限的列表就可以了，比如我要申请四个权限，如下：