边缘智能计算应用课件：基于TFLite的mediapipe模型文件转RKNN模型文件.pptx

基于TFLite的手掌检测模型部署边缘智能计算应用

项目引导案例感知手的形状和运动的能力可能是改善跨各种技术领域和平台的用户体验的重要组成部分，在人机交互场景中起到非常重要的作用本章节任务中我们采用的是Mediapipe的模型，它是一种高保真手和手指跟踪解决方案。其使用机器学习(ML)从单帧中推断出一只手的21个2D地标。尽管当前最先进的方法主要依赖于强大的桌面环境进行推理，但通过模型转换，其具备了在边缘计算平台上使用npu资源进行图像目标检测和识别的功能。

项目引导案例本项目将带着大家体验基于TFLite的手掌检测模型部署，主要任务有：TFLite模型文件转RKNN模型文件基于rknn的手掌检测手掌检测在嵌入式设备中的部署和运行项目中所涉及的操作过程主要如下图所示：TFLite模型文件转RKNN模型文件基于rknn的手掌检测手掌检测在嵌入式设备中的部署和运行

基于TFLite的Mediapipe模型文件转RKNN模型文件边缘智能计算应用

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于TFLite的Mediapipe模型文件转RKNN模型文件

了解RKNN的相关知识了解模型转换工具RKNN-Toolkit了解TensorFlowLite工具掌握TFLite模型到RKNN模型转换的环境搭建掌握使用RKNNToolkit工具将TFLite模型转换为RKNN模型职业能力目标01知识目标技能目标

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于TFLite的Mediapipe模型文件转RKNN模型文件

此任务要求搭建RKNN模型转换的环境，并配置模型量化和模型转换的相关参数，并对手势识别和手掌检测模型进行转换。任务描述任务要求完成环境的配置完成rknn模型搭建完成模型的转换任务描述与要求02

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于TFLite的Mediapipe模型文件转RKNN模型文件

任务分析模型处理的参数要设置为多少才比较合理？为什么要转换为rknn模型？任务分析与计划03

任务计划表项目名称基于TFLite的手掌检测模型部署任务名称基于TFLite的Mediapipe模型文件转RKNN模型文件计划方式自主设计计划要求请用8个计划步骤来完整描述出如何完成本次任务序号任务计划1?2?3?45678通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03

职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08基于TFLite的Mediapipe模型文件转RKNN模型文件

rknn简介204知识储备Mediapipe简介1TensorFlowLite3

MediaPipe是一款由Google开发并开源的数据流处理机器学习应用开发框架。它是一个基于图的数据处理管线，用于构建使用了多种形式的数据源，如视频、音频、传感器数据以及任何时间序列数据。04Mediapipe简介

04Mediapipe简介MediaPipe是跨平台的，可以运行在嵌入式平台(树莓派等)，移动设备(iOS和Android)，工作站和服务器上，并支持移动端GPU加速。使用MediaPipe，可以将机器学习任务构建为一个图形的模块表示的数据流管道，可以包括推理模型和流媒体处理功能。

04Mediapipe简介我们为什么需要MediaPipe呢？

04Mediapipe简介构建包含推理的应用程序所涉及的不仅仅是运行机器学习推理模型。开发者还需要做到以下几点：利用各种设备的功能平衡设备资源使用和推理结果的质量通过流水线并行运行多个操作确保时间序列数据同步正确

04Mediapipe简介MediaPipe框架解决了这些挑战，开发者可以使用它轻松快速地将现有的或新的机器学习模型组合到以图表示的原型中，并将其跨平台实现。

04Mediapipe简介开发人员可以配置使用MediaPipe创建的应用程序做到如下几点：有效管理资源(CPU和GPU)达到低延迟性能处理诸如音频和视频帧之类的时间序列数据的同步并测量性能和资源消耗

04Mediapipe简介MediaPipe有下面三个主要部分组成：用于构建基于感官数据进行机器学习推理的框架用于性能评估的工具可重用的推理和处理组件的集合

04Mediapipe简介MediaPipe的核心框架由C++实现，并提供Java