视频分析挑战赛各项任务说明单摄像头多类对象检测.DOCVIP

附件二（2）：视频分析挑战赛各项任务说明 一、单摄像头多类对象检测评测 （一）评测对象 本项评测的对象为公共场景下的行人与车辆检测技术（分两个子任务，一个子任务只需 检测图片中的行人（文件夹名最后两位为“_1”），另一个子任务需检测图片中的行人和车辆 （文件夹名最后两位为“_2”）），即检测测试图片中是否有行人/车辆存在。若存在，将行人 /车辆所在矩形框信息保存下来。 （二）问题定义和任务说明 1.问题定义 在本任务中，给定的训练集数据包含各个场景的图片及标注文件（即图片中行人/车辆 的矩形框位置信息），任务目标是对测试图片进行行人/车辆检测，对检测到的行人/车辆的 矩形框位置按评测结果文件格式保存下来。评测结果文件格式见本部分第四节。 ? ? 行人检测： 多类（行人和车辆）检测： 2. 任务说明 多类检测任务可以描述为：给定几个不同场景的图片集作为测试集，由参评系统自动地 在测试集中进行行人/车辆检测，并返回该图片检测到的行人/车辆的位置信息。 （三）评测数据集 1. 训练数据集 本任务的训练数据集中包含行人检测（4 个场景）和多类检测（4 个场景）。评测组织者 将提供每个场景约 800 张图片（标注文件中含 groundtruth）作为训练数据，参评单位也可 以自行收集数据用于训练。 2. 测试数据集 本任务的测试数据集中包含行人检测（4 个场景）和多类检测（4 个场景），由评测组织 者收集和标注。技术擂台赛中，测试集中行人检测（4 个场景）每个场景约 1500 张图片， 多类检测（4 个场景）每个场景约 1000 张图片。决赛中，测试集中每个场景的图片约为 1500 张图片。 （四）参评系统输入输出文件格式 1. 测试数据格式 本任务的测试图片文件格式统一为 jpg 图片格式。 2.评测结果文件格式 参评系统提交的结果为文本文件，请按照指定格式保存（参赛者可以利用 SDK 自动生 成）。请确保文件格式、evaluateType、mediaFile、VideoName 均符合标准。测试集标准答 案的文件格式与评测结果的文件格式一致。 其中，各项标签的含义定义如下。 ? ? evaluateType 为任务类型编号，对应于数据集中的任务类型编号（单摄像头多类对象检 测任务编号为 1） mediaFile 为数据集名称，对应于数据集的名称（例如，对于单摄像头多类对象检测的 hongsilounorth_13_1920x1080_30_1  数  据  集  ，  其  名  称  即  为 hongsilounorth_13_1920x1080_30_1） ? ? ?  imageName 代表图片名称 l、t、r、b 分别代表检测矩形框的左、上、右、下 type 代表目标类型（1 代表车辆，2 代表行人） 下面给出一个样例文本。 ?xml version=1.0 encoding=gb2312? Message Version=1.0 Info evaluateType=2 mediaFile=dongcemen_6_1280x720_30_2 / Items Item imageName=0000001.jpg Label type=2 l=606 t=88 r=640 b=192 / Label type=2 l=652 t=94 r=694 b=190 / /Item Item imageName=0000026.jpg Label type=2 l=606 t=94 r=640 b=188 / Label type=2 l=654 t=88 r=690 b=186 / /Item Item imageName=0000051.jpg Label type=2 l=604 t=88 r=640 b=194 / Label type=2 l=656 t=88 r=698 b=190 / Label type=2 l=684 t=390 r=848 b=680 / /Item /Items /Message （五）评价指标 1. 技术擂台赛评测指标 参照 PASCAL VOC 比赛评测方法，对于任意一个含类别标签的检测结果，在类别标签一 致前提下，如果与 Ground Truth 的唯一标注的矩形框满足公式（1），则被认为是正检，否则 为误检；多个检测框对应一个标注框，则只有其中一个检测框被认为正检，其余均为误检。 (1) 其中  为所提交的任一检测结果框，  为 Ground Truth 标注框，函数  用于计 算矩形框的面积。 根据上述正检判断规则，计算检测的召回率 Recall 和准确率 Precision 以及 Fscore 作为评测指标，其中 Fscore 为大赛第一排序指标，该值