《人工智能开源硬件与Pyhthon编程实践》课件 项目5 计算机视觉目标跟踪系统.pptVIP

计算机视觉目标跟踪系统 人工智能开源硬件与python编程实践 情境导入 乒乓球、足球等机器人中涉及的关键技术是利用计算机机器视觉技术实现对球形的识别和实时跟踪，引导机械臂完成击球动作。 对足球、乒乓球的快速识别并持续跟踪，利用的是计算机机器视觉中的颜色区块和形状的自动检测技术，在居家生活、工业生产等领域有着广泛应用。 任务与目标 了解图像处理与目标跟踪技术的基本原理、相关算法和应用框架； 掌握运用人工智能开源硬件设计智能应用系统的方法，掌握Python语言的编程方法； 应用计算机视觉开源硬件和Python编程，编写色块及形状综合识别算法，实现对目标的跟踪功能； 针对生活应用场景，进一步开展创意设计，设计具有实用价值的目标跟踪应用系统。 知识拓展：Lab颜色空间模型参数 L是亮度，取值范围是L∈（0,100）；a为颜色在红绿轴的分量，取值范围是a∈（-128，127）；b为颜色在蓝黄轴的分量，取值范围是b∈（-128，127）。一些算法库对Lab模型参数做了量化对齐处理，使其处于0-255范围，具体做法是：L=L*2.55，a=a+128，b=b+128。 LAB各分量的阈值设定一般是根据先验知识。实际应用中，现场光照情况不尽相同，摄像头也会带来偏色情况，顺光、逆光、色温、噪声等情况，各分量的阈值需要调整。 LAB各分量的阈值设定 LAB各分量的阈值设定一般是根据先验知识。 实际应用中，现场光照情况不尽相同，常常出现所给定的阈值并不是最合适。 设计阈值计算算法，为每种颜色选定一个小样本采集区域，然后计算样本区域中这种颜色的平均值，作为颜色追踪过程的阈值参数。 颜色阈值设置工具 OpenAIE IDE开发工具中提供有颜色阈值选择器，利用Lab阈值编辑器，可以根据视频采集现场的光照、背景光、环境噪声、摄像头工作状态等实际情况，进行针对性的Lab模型参数设置。 以下图中的红色色块Lab建模为例： 启动阈值编辑器 在OpenAIE IDE开发环境中，从顶部菜单的“工具”栏里，依次进行操作：选择工具-机器视觉-阈值编辑器 选择建模源图像 阈值编辑器操作界面 左上是源图像显示区，显示导入的图像帧。右上是色块跟踪区，显示按照当前Lab阈值参数进行颜色跟踪的情况。该区域显示的是二值化图像，白色像素是被跟踪的像素。 下部是各组参数调节区，包括L参数、A参数、B参数的最小值和最大值。 阈值参数调节 拖动L参数的最大值和最小值的指针，寻找到尽可能的目标区域阈值是白色的情况 将最小值的指针拖到最左边，最大值的指针拖到最右边。 阈值参数调节 继续拖动各B参数的最大值和最小值通道上的指针，尽量消除非红色像素点，得到最好的效果 拖动A参数的最大值和最小值通道上的指针，尽量消除非红色像素点，排除其余颜色的干扰。 设计与实践 镜头畸变的校正 通过像素统计进行颜色检测 调试、验证及完善程序 镜头畸变的校正 摄像头会遇到镜头畸变的问题。根据近大远小的光学原理，在感光芯片的边缘位置会出现桶型畸变，成像中会产生鱼眼效果； 在OpenAIE开源算法库中，image对象提供了lens_corr()的方法，可以用来矫正2.8mm焦距镜头产生的边缘畸变 。 校正后的形状追踪 import sensor, image, time clock.tick() img = sensor.snapshot().lens_corr(1.8) for c in img.find_circles(threshold = 2500, x_margin = 10, y_margin = 10, r_margin = 10, r_min = 2, r_max = 100, r_step = 2): area = (c.x()-c.r(), c.y()-c.r(), 2*c.r(), 2*c.r()) 通过像素统计进行颜色检测 image.get_statistics() 方法，用于计算roi中每个颜色通道的平均值、中值、标准偏差、最小值、最大值、下四分值和上四分值，并返回一个数据对象。也可以使用image.get_stats来调用这一方法。如果传递 thresholds列表，则直方图信息将仅从阈值列表中的像素计算得出。 利用get_statistics统计的方法，可以计算出指定区域内占面积最大的颜色。 例程 #area为识别到的圆的区域，即圆的外接矩形框 statistics = img.get_statistics(roi=area)#像素颜色统计 print(statistics) #(35, 72, 9, 80, 20, 72) 为红色的阈值， (53, 77,