nuTonomy发布自动驾驶数据集nuScenes.docVIP

nuTonomy发布自动驾驶数据集nuScenes 　　数据集是机器学习算法的命脉——从某种意义上讲，数据集对于自动驾驶等人工智能应用领域，最重要的是它们的质量最高。同时，数据集也衍生出自动驾驶行业新的商业模式。 　　 　　nuTonomy今天发布了一个名为nuScenes的自动驾驶数据集，它声称其规模和精确度超过了KITTI、百度的ApolloScape和Udacity自动驾驶汽车数据集等公共数据集。 　　数据集下载链接： 　　/download 　　Scale为nuScenes提供了数据注释，公司首席执行官表示，这是有史以来发布的最健壮的开放源码，基于多传感器自动驾驶数据集。 　　NuTonomy编辑了1000多个场景，其中包含140万幅图像、40万次激光雷达扫描（判断物体之间距离）和110万个三维边界框（用RGB相机、雷达和激光雷达组合检测的物体）。 　　 　　它们已经通过Scale的传感器融合注释API进行了细致的标签，该API利用人工智能和人类团队进行数据注释，并且从本周开始面向行业开源。 　　近年来，越来越多的公司在加入这个行列。比如，早些时候全球红外系统供应商Flir发布了基于热成像仪拍摄的1万多张带标注图片。Mapillary公司发布了25000张街道级别的图像，以及加州大学伯克利分校上传了10万张基于RGB相机拍摄的视频序列。 　　之所以被称之为比之前其他公司和机构发布的数据集更为全面，是因为此次数据搜集使用了6个摄像头、1个激光雷达、 5个毫米波雷达、GPS及惯导系统，包括对于自动驾驶系统有挑战性的复杂道路、天气条件等。 　　车辆传感器设置 　　 　　使用两辆具有相同传感器布局的雷诺Zoe汽车在波士顿和新加坡开车，收集数据。有关传感器的位置，请参阅上图。传感器发布数据如下： 　　1x旋转激光雷达： 　　5倍长距离雷达传感器： 　　相机方向和重叠请参阅下图： 　　20Hz捕获频率 　　32个频道 　　360°水平视场，+ 10°至-30°垂直视场 　　80m-100m范围，可用返回70米，精度±2厘米 　　每秒高达~139百万点 　　用于77GHz 　　13Hz捕获频率 　　使用调频连续波在一个周期内独立测量距离和速度 　　距离最远250米 　　速度精度为±0.1 km / h 　　sa’n6x相机： 　　12Hz捕获频率 　　1 / 1.8英寸CMOS传感器，1600x1200分辨率 　　Bayer8格式，每像素1字节编码 　　1600x900 ROI从原始分辨率中裁剪，以减少处理和传输带宽 　　曝光时间限制为最大20 ms的自动曝光 　　图像被解压缩为BGR格式并压缩为JPEG 　　 　　传感器校准 　　要获得高质量的多传感器数据集，必须校准每个传感器的外在和内在因素。根据表示相对于自我框架的外部坐标，即后车轴的中点。最相关的步骤如下所述： 　　LIDAR外在因素： 　　使用激光衬垫来精确测量激光雷达与自我框架的相对位置。 　　相机外在因素： 　　在相机和LIDAR传感器前面放置一个立方体形状的校准目标。校准目标由具有已知图案的三个正交平面组成。在检测到图案后，我们通过对齐校准目标的平面来计算从相机到LIDAR的变换矩阵。给定上面计算的LIDAR到自我帧变换，然后可以计算相机到自我帧变换和所得到的外部参数。 　　雷达外在因素： 　　将雷达安装在水平位置。然后通过在城市环境中驾驶来收集雷达测量值。在过滤移动物体的雷达返回后，校准偏航角，以最小化静态物体的补偿范围速率。 　　相机内在校准： 　　使用具有一组已知模式的校准目标板来推断相机的固有和失真参数。 　　传感器同步 　　为了在激光雷达和摄像机之间实现良好的交叉模态数据对准，当顶部激光雷达扫过摄像机FOV的中心时，会触发摄像机的曝光。图像的时间戳是曝光触发时间；并且LIDAR扫描的时间戳是实现当前LIDAR帧的完全旋转的时间。鉴于相机的曝光时间几乎是瞬时的，这种方法通常可以产生良好的数据对齐。请注意，摄像机以12Hz运行，而激光雷达以20Hz运行。12个相机曝光在20个LIDAR扫描中尽可能均匀地展开，因此并非所有LIDAR扫描都具有相应的相机帧。将摄像机的帧速率降低到12Hz有助于降低感知系统的计算，带宽和存储要求。 　　参与此次数据标注的Scale公司，自2016年成立以来，已经为包括Lyft、Voyage、通用汽车、Zoox和Embark在内的客户标出了超过20亿英里的行驶里程。 　　今年8月，Scale宣布了一轮1800万美元融资，迄今该公司已筹集到2270万美元，报告称去年公司收入增长了15倍。 　　数据标注的对象通常有图像、语音、文本、视频、雷达等。图像类主要针对视觉识别类公司，所要标注的图像内容包括人像、建筑物、植物、道路、交通标志、车辆等，