《数据标注工程——概念、方法、工具与案例》教学课件—02数据标注的概念、工具与方法.pptx

人工智能技术应用核心课程系列教材;第2章 数据标注概念、工具与方法;2.1数据标注的概念及其对人工智能发展的意义;2.1.1全球数据的快速增长催生大数据产业

根据国际数据公司（IDC）的监测数据显示，2018年全球大数据储量达到33.0ZB，同比增长52.8%。到2020年，全球将总共拥有超过44ZB的数据量；其中文本、照片、音频、视频、医疗影像等非结构化内容超过85%。大数据蕴含的前所未有的社会价值和商业价值，是一个发展潜力十分巨大的机遇。因此，大数据也被被誉为“新的石油”。;2.1.2数据产业推动人工智能应用技术的发展

20世纪80年代出现的深度学习神经网络算法，因为没有足够的数据支持而步履维艰

自2012年之后，数据技术推动数据产业的发展。大数据、人工智能、物联网及云计算等技术的快速发展，智慧城市、智慧园区、智能家电、穿戴设备、智能机器人等智能应用不断涌现，对经济社会发展产生了巨大而又深远的影响，同时也采集、获取、积累了大量的原始数据资源。智能应用技术中算法模型的学习和训练依赖于大量数据样本训练集，由此也产生了大量场景化的人工智能数据需求。;2.1.3数据标注对于人工智能应用的意义

数据标注就是将大量的、原始的、杂乱的数据转化为规范化的、计算机能够读懂的、标识出关键特征的数据集，从而支持人工智能的相关应用。

数据标注质量影响人工智能应用效率。高质量的、准确标注的数据将最大限度地提升人工智能判别的准确率；而低质量的、没有准确标注的数据会影响、甚至阻滞人工智能的进化能力。

人工智能的发展促使数据标注不断进步。随着人工智能的不断发展，对数据标注的需求度越来越高，数据标注任务要求不断细化，以满足不同行业对数据的不同要求。

因此，高质量的数据标注对于促进人工智能行业健康发展具有重要意义。;第2章 数据标注概念、工具与方法;2.2.1数据集

数据集（DataSet）又称为资料集、数据集合、资料集合或数据产品，是经过规范化整理、工程化标注的一组具有统一格式的数据集合。

人工智能数据集主要分为语音数据集、图像数据集、文本数据集和视频数据集等四大类别。

部分国际???工智能公共数据集如下：;语音数据集

在人与人、人与计算机的信息交互中，需要一种更加方便、自然的交互方式。语言是人类最重要、最有效、最常用和最方便的信息交流形式。

人工智能语音数据集，按照不同的维度，通常可以分为三种：

按照语种分类：世界上有五千多种语言，目前的语音数据集主要包含了使用人数较多的语种，如汉语、英语、西班牙语、法语等。

按照方言分类：汉语有七大方言区，外语也有方言之分

按照语音属性分类：朗读语音、引导语音、自然对话、情感语音等

上述各种维度的语音数据集，在形成数据产品的时候往往会多维度结合，各种维度交错，构成大量的语音数据产品。;图像数据集

图像（图片）经数字化后形成可以存储、编辑的图像数据（图片数据）。对于计算机来说一张数字化图片的内容信息就相当于一连串代表每个像素位置和颜色的数字序列，也就是图像数据。

人工智能图像数据集，按照不同的维度，通常可以分为七种：

按照应用场景分类：例如人体识别、车辆识别、车牌识别、动物识别等

按照局部或整体特征分类：以车辆为例，车牌为局部，车型为整体

按照待识别对象的数量分类：例如单人、人群

按照气象条件分类：晴天、阴天、雨天、雪天、雾霾、白天、黑夜等

按照拍摄角度分类：正面、侧面、上面、下面、背面

按照光线情况分类：顺光、侧光、逆光、侧逆光

按照拍摄对象分类：不同人种、不同性别、不同表情等;2.2.4文本数据集

文本数据是指不能参与算术运算的字符集合，也称为字符型数据。文本数据集主要应用于自然语言理解、机器翻译、语音识别、智能交通等领域。;视频数据集

视频是典型的、复合的多媒体数据，可以包含图像、语音、音乐、音效和文字等多种媒体信息。

视频数据的特点：

信息内容丰富：视频数据是随时间变化的图像流，含有更为丰富的其他媒体所无法表达的信息和内容。

数据量巨大：静态图像、文本等类型的数据，数据量较小，而视频数据，数据量巨大。

时空二重性的复杂结构关系：视频数据由多幅连续的图像序列构成，既有时间属性又有空间属性。

数据解释的多样性、主观性：视频数据具有十分丰富的内涵，受人的个体主观因素影响较大，不同的人对同一段视频会产生不同的感受和重述。;第2章 数据标注概念、工具与方法;2.3.1语音数据标注工具

常见的语音数据标注工具包括：单段落语音数据标注、多段落语音数据标注等。

（1）单段落语音标注：标注人员试听语音资料后，需要判定语音资料的有效性，说话人的说话内容以及周围环境等信息，试听判断完成后，将相应信息填写到音频下方的文本输入框中;2.3.1语音数据标注工具

（2）多段落语音标注：标注人员同样需要试听一