人大社课件数据服务实践 课件任务3.2图像数据清洗-2.pptxVIP

项目三图像数据清洗（下）主讲教师:段晓亮Imagedatacleaning

1.图像去重采集的口罩样本中，我们需要检查每个图像之间的样本相似度，达到去除重复样本的目的。图像去重原理：1、对比数据集内每张图像和其他图像的像素尺寸，如何尺寸相同，则进一步判断；2、利用OpenCV计算相同尺寸图像的灰度直方图，根据直方图之间的距离判断图像相似度。3、删除图像尺寸相同，相似度较高的样本，重新遍历数据集。

2.尺寸过滤过大的像素具有更多的信息，即使在缩小尺寸之后仍然具备足够的内容信息。过小的像素本身就不具丰富的内容信息，即使放大尺寸之后仍然会导致内容模糊。像素值为：80X80所以，数据集内小尺寸样本应该删除

3.尺寸变换我们用智能手机拍摄的图像样本存在像素分辨率较大情况。分辨率较大会存在两种问题：一个数据样本“5.29MB”1.很难建立统一的标注标准标注误差导致算法精度降低2.像素值为：72X72

3.尺寸变换同时，爬虫脚本采集到的图像数据也会存在像素过小情况”过小的像素虽然会使用更小的内存空间，但是同样也会丢失样本的主体信息“分辨率为200X200

3.尺寸变换思考：针对大像素样本或者小像素的图像样本，我们应该如何处理？

3.尺寸变换COCO和VOC数据集是目前学术界最常用开源数据集，许多新算法都以其准确率高低决定算法质量。观察两个开源数据集的图像数据像素情况，它们有什么共