数据集简介采集情况数据用途.PDFVIP

本⽂档描述了百度阿波罗计划中端到端驾驶平台的数据格式及相关评测标准。 数据集简介 数据是通过百度⾃⼰的地图采集⻋采集⽽来。 ⽬前，该数据覆盖了中国整个公路⽹，总⻓达百万公⾥。本数 据集提供⻋前图像和⻋辆运动状态两种类型数据。地图采集⻋辆捕获360度视图图像，但是由于⽂件⼤⼩限 制，我们只提供320 * 320分辨率的⻋前图像jpg格式数据。⻋辆运动状态数据包括当前速度和轨迹曲率。 采集情况 数据采集设备如图所示，CCD 相机的光圈应为 2.8 ，焦距应为∞ 。摄像头位于⻋上⽅顶盖中。通过调整⾏李 架卡扣前后位置,保证⾏李架本身与⻋辆中⼼线垂直，且两条⾏李架在同⼀⽔平⾯上。将设备⽀架移动⾄⾏李 ⽀架中间，保证 CCD 拍摄图像的中间与⻋辆中⼼线重合。 数据⽤途 数据主要来源于传感器的原始数据，包括图像、激光雷达、雷达等。end-to-end输⼊以图像为主。输出是⻋ 辆的控制决策指令，如⽅向盘⻆度、加速、刹⻋。连接输⼊输出的是深度神经⽹络，即通过神经⽹络直接⽣ 成⻋辆控制指令对⻋辆进⾏横向控制和纵向控制，中间没有⼈⼯参与的逻辑程序。横向控制，主要是指通过 ⽅向盘控制⻋身横向移动，即⽅向盘⻆度。纵向控制，是指通过油⻔和刹⻋控制⻋身纵向的移动，即加速、 刹⻋等。横向模型的输出没有采⽤⽅向盘⻆度，⽽是使⽤要⾏驶的曲率（即拐弯半径的倒数）。原因如下： （1）曲率更普适，不受⻋辆⾃身参数如steering ratio 、wheel base等影响。 （2）曲率与⽅向盘⻆度之间的 函数关系简单，低速时通过Ackermann模型就可以反演，⾼速时通过⼀个简单的⽹络也可以拟合。故得到的 横向控制模型就是：通过前向的影像，给出⻋辆要⾏驶的曲率。纵向模型的输出是加速度。 数据分类 数据分为两部分，训练集和测试集。使⽤训练集调试算法，使⽤测试集检验模型。训练集有5246135个样 本，测试集有125043个样本。 训练集 训练集包含图像image和姿态attr两部分数据。image为输⼊数据，attr为输出数据。其中image⽂件和attr⽂件 通过⽂件名⼀⼀对应，读取image和attr需要hdf5库⽀持。 训练集格式 训练数据按照如下⽬录结构组织： trainsets/ // 训练数据的顶层⽂件夹 image // 包含了训练数据中的图像⽂件 119.h5 .. 123.h5 attr // 包含了与图像⽂件对应的姿态⽂件 119.h5 .. 123.h5 图像⽂件：h5⽂件。key-value格式，以时间戳UTC time为索引检索⼀幅图像，key:UTC time， value:320 * 320 * 3的图像编码后jpg格式数据。解码示例： with h5py.File(img_file, r) as f: for t in f: img = cv2.imdecode(f[t][:], 1) 姿态⽂件：h5⽂件。⼀个时刻的姿态数据以⼆维数组整体存在hdf5中，第⼀维为’attrs’,第⼆维为姿态数 据：［t, VEast, VNorth, curv1, curv2, curv3, curv4, curv5, curv6, x, y, heading, tag］。对于图像⽂件中 的⼀个UTC time的图像，⼀定存在⼀⾏与之对应的姿态数据，每⼀⾏有13个数据，类型为64位浮点数。 字段说明如下： 列：变量 单位 说明 01 : t ⼗进制（⽆符号） 当前UTC time 时间戳 02 : VEast ⽶／秒 当前⻋辆朝东的速度 03 : VNorth ⽶／秒 当前⻋辆朝北的速度 04 : curv1 ⼗进制（有符号) [t,t+0.125)间曲率1，左拐为正 05 : curv2 ⼗进制（有符号） [t,t+0.125)间曲率2，左拐为正 06 : curv3 ⼗进制（有符号）