主题报告：大数据及其应用-中国工程院院士-倪光南.pdf

2013 中国电信智慧城市创新发展大会 大数据及其应用 倪光南编写 2013年5月17 日 南京 1 从商业智能（BI）到大数据  大数据从数据挖掘、商业智能（BI）发展而来，经典实 例如下：  “啤酒与尿布”：20世纪90年代沃尔玛的超市管理人员分析销 售数据时发现了一个令人难于理解的现象：在某些特定的情况下 ，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在 同一个购物篮中。这样，他们在尿布货柜附近放置了啤酒，结果 销量大幅上升。  美国第二大超市Target为了抓住含金量很高的一个顾客群体—— 孕妇，通过数据挖掘建立了一个模型，选出了25种典型商品的消 费数据构建了“怀孕预测指数”，由此，它能在很小的误差范围 内预测到顾客的怀孕情况，从而能早早地把孕妇优惠广告夹杂在 其他一大堆与怀孕不相关的商品广告中发出去，有效地招揽了孕 妇顾客群。这种优惠广告间接地令一个蒙在鼓里的父亲意外发现 他高中生的女儿怀孕了，一时轰动全美。 2 怎样发展到大数据？  随着互联网、移动互联网的发展，1. 数据产生和发送的速度和频率 急剧增长；2. 数据源的数目和种类上升。全球范围内可用的数字数 据从2005年的150EB增长到2010年的1200EB。预计在以后一些年里将 年增长40%，即相当于人口增长速度的40倍。这意味着数字数据从 2007到2020将增长44倍，或每20个月翻一番。  这些新的数字数据源包括搜索、新闻、博客、微博等社交网、移动 电话和短信、热线电话、监控数据、遥测数据……，产生的新数据 的特点是：一般以数字方式产生；往往是我们日常生活或与数字服 务交互的副产品；一般是自动收集、有在数据产生时同时提取和存 储它的系统；在地理上或短时期里可以跟踪，如手机位置数据或通 话持续时间；可连续地进行实时或近乎实时的分析。  这些新的情况再加上云计算的发展，为大数据提供了合适的环境和 处理能力，推动数据挖掘、商业智能发展到大数据。 3 商业智能和大数据的比较 名称 商业智能 大数据 数据量 不太大，常为TB量 大，常为PB量级 （1015Byte ） 级 （1012Byte ） 数据特性 结构化信息，非实时 主要为非结构化信息，如文本、图形、 信息 音频、视频、遥感遥测信息……，大 多是实时信息 数据来源 主要为企业交易数据 主要是社会日常运作和各种服务中实 时产生的数字数据，如在线搜索、新 闻、博客、微博等社交媒体、移动电 话和短信、热线、电子商务交易、遥 感遥测数据…… 应用领域 主要是自然科学范畴 主要是社会科学范畴，如经济学和社 会学应用、政治政策应用等 4