健身创业计划书副本.pptxVIP

20XX《AI健身》创业计划书-副本

-目录9.3产品技术框架

《AI健身》创业计划书-副本具体实现时，分为两个stage，GlobalNet和RefineNet其中GlobalNet主要负责检测容易检测和较难检测的关键点，对于较难关键点的检测，主要体现在网络的较深层，通过进一步更高层的语义信息来解决较难检测的关键点问题RefineNet主要解决更难或者不可见关键点的检测，这里对关键点进行难易程度进行界定主要体现在关键点的训练损失上，使用了常见的HardNegativeMining策略，在训练时取损失较大的top-K个关键点计算损失，然后进行梯度更新，不考虑损失较小的关键点网络结果如下图所示

《AI健身》创业计划书-副本1RMPE：本概述主要考虑的是自上而下的关键点检测算法在目标检测产生Proposals的过程中，可能会出现检测框定位误差、对同一个物体重复检测等问题2检测框定位误差，会出现裁剪出来的区域没有包含整个人活着目标人体在框内的比例较小，造成接下来的单人人体骨骼关键点检测错误3对同一个物体重复检测，虽然目标人体是一样的，但是由于裁剪区域的差异可能会造成对同一个人会生成不同的关键点定位结果4本文提出了一种方法来解决目标检测产生的Proposals所存在的问题，即通过空间变换网络将同一个人体的产生的不同裁剪区域(Proposals)都变换到一个较好的结果，如人体在裁剪区域的正中央，这样就不会产生对于一个人体的产生的不同Proposals有不同关键点检测效果5具体Pipeline如下图所示

《AI健身》创业计划书-副本

9.3产品技术框架1PART

9.3产品技术框架图9-3-1blaze算法逻辑图Blaze意为火焰、失火，反映了这一系列算法是从算法设计到实现都竭力追极速的特点，方便对运行速度要求比较高的AR/VR开发者使用BlazePose，一个轻量级的卷积神经网络架构，用于人体姿势估计，它是为移动设备上的实时推理量身定做的。在推理过程中，该网络为一个人产生33个身体关键点，并在Pixel2手机上以每秒超过30帧的速度运行。因此它特别适合实时用例，如健身追踪和手语识别。在Pixel3上GPU运行，BlazePose可以达到112FPS(framespersecond)论文(BlazePose:On-deviceReal-timeBodyPosetracking)提出新颖的身体姿态追踪解决方法和用热图和回归关键点的网路坐标技术搭建的轻巧身体姿态估计神经网络

9.3产品技术框架BlazePose是从达芬奇的《维特鲁威人》中得到的启发，可预测人的臀部中点、外接整个人的圆的半径以及连接肩部和臀部中点的直线的倾斜角度，共计可预测33个人体关键点01根据手和脚的比例和方向信息，即使是非常复杂的情况，比如特定的瑜伽姿态，其也能得到一致的追踪02

9.3产品技术框架图9-3-2《维特鲁威人》BlazePose是一种用于人体姿势估计的轻量级卷积神经网络体系结构，专为在移动设备上进行实时推理而设计。在推理过程中，该网络为单个人生成33个人体关键点，并在Pixel2手机上以每秒30帧的速度运行。这使其特别适合诸如健身跟踪和手语识别之类的实时用例。我们的主要贡献包括新颖的人体姿势跟踪解决方案和轻量级的人体姿势估计神经网络，该网络同时使用热图和回归关键点坐标1.介绍根据图像或视频进行人体姿势估计在各种应用(例如健康跟踪，手语识别和手势控制)中起着核心作用由于各种各样的姿势，众多的自由度(degreesodfreedom)和遮挡(occlusions)，这项任务具有挑战性

9.3产品技术框架最近的工作在姿势估计方面显示出重大进展常用的方法是为每个关节生成热图(produceheatmapsforeachjoint)以及细化每个坐标的偏移量尽管这种热图选择可以以最小的开销将其扩展到多个人，但它使一个人的模型比适用于手机上的实时推断的模型大得多在本文中，我们解决了这个特殊的用例，并演示了该模型的显著加速，几乎没有质量的下降与基于热图(heatmaps)的技术相反，基于回归(regression)的方法虽然对计算的要求较低且可扩展性较高，但它们试图预测平均坐标值，但通常无法解决潜在的歧义已有一些研究表明，即使参数数量较少，堆叠式沙漏架构(stackedhourglassarchitecture)?也可以大大提高预测的准确性

9.3产品技术框架NEXT我们在工作中扩展了这个想法，并使用编码器-解码器网络体系结构(encoder-decodernetworkarchitecture)来预测所有关节的热图，随后是另一个直接回归到所有关节坐标的编码器

我们的工作的关键点是，热