第二届大数据应用论坛新鲜出炉之(第四册)---大数据启发新思维.pdf

大数据启发新思维 中国信息协会 副会长 胡小明 1. 对大数据现实再认识 感觉到了的东西，我们不能立刻理解 它，只有理解了的东西才更深刻地感觉它。 —— 毛泽东 1.1 我们感受的信息爆炸 • 人们看书越来越少，因为网上有太多可看的内容 • 手机、电脑上的垃圾信息已使人不胜其烦 • 手机视频、导航、移动互联网使手机内存一扩再扩 • 电脑、手机等终端设备的普及促进了信息膨胀 • 互联网实现了全球计算机联网，促进了信息共享 • 自动化的信息收集系统无声无息制造数据 • 每个人、每台自动化设备都是数据的制造者 1.2 量变引起质变 • 有多大橱柜就会塞满多少东西 • 数据量随着摩尔定律指数增长 同时增长的还有软硬件处理能力 • 每十五年数据量增长一千倍，处理能力同步增长 • 量变会引起质变，IT 能力爆炸涌现新环境 出现了互联网时代、物联网时代、大数据时代 • 每一时代意味着一种新思维层次的产生 1.3 新机会的产生 • 社会不会耗费精力去想无效益的事情 • 一项新技术成为热点是环境需求成熟的结果 • 应用效益是需求价值减去应用成本的差 • 经济规模膨胀、时间成本上升使需求价值上扬 • 信息技术大发展使应用成本急速下降 • 需求价值超过应用成本之后出现大量应用机会 • 每一机会都是特定环境下的创新产物 1.4 已经看到的大数据应用 移动通信、导航服务、电子商务都是大数据应用 搜索与结果重要性排序也是大数据应用 沃尔玛的商品摆放、亚马逊市场的定向推销 医疗、神经科学、心理学、社会科学研究 波士顿的爆炸案的侦破、医疗费诈骗防护 语言翻译的准确性提高 均得益于大数据应用 2. 大数据新观念 每种新观念都有其历史渊源，认识新观念的 发展史有助于深刻地理解这种观念。 2.1 不确定性与信息论 • 维纳把20世纪物理学第一次大革命归功于吉布斯 因为吉布斯把概率引进到物理学的研究中 • 我们面对的是一个不确定性的世界 • 自然界并没有绝对精确的规律 • 信息论是用来描述不精确的规律的 • 认识自然界的相关关系推动了科学的发展 2.2 统计理念怎样改进工作 • 统计思维推动了物理学革命，产生了量子力学 • 统计进入质量管理推动了质量管理革命 • 美国人怎样让家庭妇女迅速生产出一流军工产品 统计质量管理立下汗马功劳 • 统计质量管理是追究事实的管理 • 发现规律、应用规律，不追究规律的因果解释 • 统计改进使日本产品质量达到世界一流 2.3 大数据转变三观念 • 《大数据时代》一书列出大数据三个新观念： （1）不是随机样本，而是全体数据 （2 ）不是精确性，而是混杂性 （3 ）不是因果关系，而是相关关系 • 这三大观念是由信息科学本身决定的 • 小孩是在混杂而不规范的环境下掌握了语言 • 稳定而便于利用的规律是通过相关关系透露的 2.4 大数据威力三来源 1. 利用大样本，揭示小概率环境下的规律 强大的搜索能力开辟了长尾经济学 超大规模数据开辟了小概率环境下的精确管理 2. 跨领域链接，发现意想不到的相关关系 领域内规律已充分暴露，未知规律在外部 3. 大范围整合，消除信息不对称 信息不对称的消除是预防欺诈的重要武器 2.5 大数据应用依赖于创意 • 海量数据并不一定是优势资源 • 海洋作为淡水资源只对拥有淡化能力的人而言 • 大数据能否成为资源要因人而异、因环境而异 • 只有聚集了数据、处理能力、应用创意才有价值 • 抽象地谈大数据的价值没有意义 • 用户的应用效益大于应用的成本才构成机会 • 机会需要精心设计，创意是大数据应用的核心 3. 热潮中需要冷思考 面对大数据热潮更需要冷静思考，盲目跟风 没有必要，掌握大数据的思维方式伺机应用才是 上策。