全链路AI课程设计与开发——以视力检测AI助手为例.pdfVIP

tougao1@chinaitedu.cn技术应用

生活·技术·探索

全链路AI课程设计与开发

—以视力检测AI助手为例

邱奕盛华东师范大学教育信息技术学系/上海数字化教育装备工程技术研究中心

谢作如浙江省温州科技高级中学

全链路AI的开发是指将AI技术应用在数据集制作、模型训练和模型应用等多个环节。本文依据全链路AI开发思

摘要：

路，实现了一款视力检测AI小助手的制作。除了在项目开发过程中使用了手部检测模型、关键点提取模型和手势判断模型

这三个AI模型外，这款视力检测AI小助手还在多处应用了AI技术，如借助大模型的多轮对话完成较复杂程序的编写，解决数

据归一化问题等，为中小学实施人工智能教育提供了新的思路。

视力检测；全链路AI；XEdu；大模型

关键词：

G434A1674-2117（2024）09-0083-03

中图分类号：文献标识码：论文编号：

●全链路AI的技术路线

在青少年AI教学设计中，选AI模型，还涉及技术分析、数据准

择贴近生活的应用场景，面向真实备、模型训练和模型应用等多个环在进行视力检测时，医生会用

问题解决能提升学生的学习兴趣。节。其中，最烦琐的工作莫过于采集视力表中大小不一的图标来确定患

在和学生讨论的过程中笔者发现，手势数据，难度最高的则在于GUI者视力的高低，其流程大致可以概

视力检测工作没法一个人完成，必交互界面编写，因而笔者希望AI为括为选择一个图标、看患者手势、

须团队合作才行。其中最大的难题整个项目的所有环节赋能，实现“全判断正误三步，如此反复。如果患

是，需要工作人员来引导并确认结链路AI开发”。者多次判断错误，就可以停止测量，

果——你所指的方向是不是正确。

显然，视力检测的引导工作很枯燥，

完全可以用AI来替代。

能否设计一款AI小助手，不借

助他人就能自行完成视力检测？从

技术上看，通过摄像头采集画面，

再训练一个能识别手势方向的AI

模型就能做到。但要从零开始实现

这个AI小助手的开发，说起来简单

实则复杂，不仅需要训练手势判断图1视力检测小助手技术路线

MAY.2024NO.0983

技术应用tougao1@chinaitedu.cn

并给出测量结果。AI小助手的工作手势的类别。如上页图1所示，这种训练的手势判断模型。相比于直接

思路是用电脑屏幕来显示不同大包括数据准备、模型训练、模型应把摄像头拍到的手势图片传给AI

小的图标，使用摄像头来拍摄患者用这三个环节全都用AI解决的技模型判断的“端到端”AI技术路线，

的手势，并通过AI模型来识别手势术路线称为“全链路AI”。值得一提这种全链路AI更为巧妙地利用多

的类别，进而判断手势是否正确。的是，数据准备这个环节，在模型个AI模块组合，化解了算力难题，即

为降低开发难度，笔者用多个训练和模型应用中的流程是完全在低算力设备上也能流畅运行。