人工智能导论课件第3章.pptxVIP

人工智能导论Introduction to artificial intelligence 第二部分 基础知识 第3章 大数据思维 【导读案例】亚马逊推荐系统讨论： 1大数据与人工智能2思维转变之一：样本=总体3思维转变之二：接受数据的混杂性4思维转变之三：数据的相关关系 第1节 3.1 大数据与人工智能事实上人们对数据并不陌生。上古时期的结绳记事、以月之盈亏计算岁月，到后来部落内部以猎物、采摘多寡计算贡献，再到历朝历代的土地农田、人口粮食、马匹军队等各类事项都涉及到大量的数据。这些数据虽然越来越多、越来越大，但是，人们都未曾冠之以“大”字，那是什么事情让“数据”这瓶老酒突然换发了青春并如此时髦起来呢？ 3.1 大数据与人工智能当互联网开始进一步向外延伸并与世上的很多物品链接之后，这些物体开始不停地将实时变化的各类数据传回到互联网并与人开始互动的时候，物联网诞生了。物联网是个大奇迹，被认为可能是继互联网之后人类最伟大的技术革命。 3.1 大数据与人工智能如今，即便是一件物品被人感知到的几天内的各种动态数据，都足以与古代一个王国一年所收集的各类数据相匹抵，那物联网上数以万计亿计的物品呢？是不是数据大得不得了，于是“大数据”产生了。 3.1 大数据与人工智能如此浩如云海的数据，如何分类提取和有效处理呢？这个需要强大的技术设计与运算能力，于是有了“云计算”。其中的“技术设计”属于“算法”。“云计算”需要从大量数据中挖掘有用的信息，于是“数据挖掘”产生了。这些被挖掘出来的有用信息去服务城市就叫做“智慧城市”，去服务交通就叫做“智慧交通”，去服务家庭就叫做“智能家居”，去服务于医院就叫做“智能医院”，……于是，智能社会产生了。不过，智能社会要有序、有效地运行，中间必须依托一个“桥梁”和借助于某个工具，那就是“人工智能”。 3.1 大数据与人工智能这就是为什么近几年时间内，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些时髦概念突然纷纷冒出来的理由，原来它们都是“同一条线上拴着的蚂蚱” ！ 图3-3 一根绳上的蚂蚱 3.1 大数据与人工智能万物大数据主要包括人与人、人与物、物与物三者相互作用所产生（制造）的大数据。其中人与人、人与物之间制造出来的数据，有少部分被感知，物与物之间制造出来的数据还根本没法被感知的。对于人与人、人与物之间被感知到的那部分很小的数据（相对于万物释放的量来说非常小，但是绝对量却非常大），这主要是指在2000年后，因为人类信息交换、信息存储、信息处理三方面能力的大幅增长而产生的数据，这个实际上就是我们日常所听到的“大数据”概念，是以人为中心的狭义大数据，也是实用性（商业、监控或发展等使用）大数据。信息存储、处理等能力的增强为我们利用大数据提供了近乎无限的想象空间。 3.1 大数据与人工智能在数字化时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的数据。而“大数据”全在于发现和理解信息内容及信息与信息之间的关系。实际上，大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法，这三个转变是相互联系和相互作用的。 1小数据时代的随机采样2大数据与乔布斯的癌症治疗3全数据模式：样本=总体第2节 3.2 思维转变之一：样本=总体很长以来，因为记录、储存和分析数据的工具不够好，为了让分析变得简单，当面临大量数据时，社会都依赖于采样分析。但是采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物。如今信息技术的条件已经有了非常大的提高，虽然人类可以处理的数据依然是有限的，但是可以处理的数据量已经大大地增加，而且未来会越来越多。大数据时代的第一个转变，是要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。 3.2 思维转变之一：样本=总体在某些方面，人们依然还没有意识到自己拥有了能够收集和处理更大规模数据的能力，还是在信息匮乏的假设下做很多事情。人们甚至发展了一些使用尽可能少的信息的技术，例如统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。 3.2.1 小数据时代的随机采样数千年来，政府一直都试图通过收集信息来管理国民，只是到最近，小企业和个人才有可能拥有大规模收集和分类数据的能力，而此前，大规模的计数则是政府的事情。以人口普查为例，据说古代埃及就曾进行过人口普查，那次由罗马帝国的开国君主恺撒主导实施的人口普查，提出了“每个人都必须纳税”。1086年的《末日审判书》对当时英国的人口、土地和财产做了一个前所未有的全面记载。皇家委员穿越整个国家对每个人、每件事都做了记载，后来这本书用《圣经》中的《末日审判书》命名，因为每个