数据挖掘深度决定大数据应用价值.docVIP

数据挖掘深度决定大数据应用价值 所谓大数据，是信息化到一定阶段之后必然出现的现象，是由于信 息技术的不断廉价化，以及互联网及其延伸所带来的无处不在的信息技术 应用所带来的自然现象。基本上，大数裾有四个驱动力，即摩??定律所驱 动的指数增长模式；技术低成本化驱动的万物数字化；宽带移动泛在互联 驱动的人机物广联连接；云计算模式驱动的数据大规模的汇聚。 目前，大数据正带来新一波信息化浪潮。回顾信息化发展过程，有两 个明显的阶段。第一阶段始于PC机正式进入市场，以单机应用、数字化 为特征，该阶段核心业务的数字化工作主要依托PC机；第二阶段是20世 纪90年代中期至今，以联网应用为特征，网络化推动了数据大集中。 随着企业伞球化发展布局加快，我们正迈入信息化发展的第三阶段， 即以数据的深度挖掘和融合应用为特征的智慧化。 大数据提供了人类认识复杂系统的新思维、新手段，已成为提升国家 综合能力和保障国家安全的新利器。从信息技术视角来看，云计算、物联 网、人数据、移动互联网、人工智能等都属于互联网时代的信息新技术。 从制造业视角，移动互联网、物联网、GPS作为互联网的延伸，更强调在 制造业全价值链的提升与整合中信息的应用；而在互联网眼中，则更强调 对传统产业的影响、改造和升级，构造新产品、新业务、新生态的力量。 我认为，“互联网+ ”本质上是传统行业或产业信息化的深度和泛在化, 是孕育新兴业态的平台；是互联网技术、模式和思想与传统行业或产业的 深入融合，将会促进信息基础设施的完善、数据资源的积累、新兴业态的 诞生和成长；“互联网+”是信息化发展第三阶段的基础设置、思维模式和 实施指南，数据的深度挖掘与融合应用将是新一代信息化应用的主要特 征。 大数据可以从两个角度来定义。从技术能力视角来看，大数据指的是 规模超过现有数据库工具获取、存储、管理和分析能力的数据集，同时并 不是超过某特定数量级的数据集才是人数据。从数据内涵视角来看，人数 据是具备海量、高速、多样、可变等特征的多维数据集，需要通过可伸缩 的体系结构实现高速的存储、处理和分析。 大数椐重构IT架构 大数据将给我们带来哪些挑战？我认为最重要的应该是思维模式的 变化。通过大数据，我们能够认识复杂系统的新思维，促进经济转型，提 升国家综合能力，保障国家安全，提升政府治理能力以及服务民生、社会 的能力。 冃前来看，我觉得大数据已处于过热状态，有炒作之嫌。很多地方一 窝蜂搞“大数据”，殊不知大数据不可能是解决一切问题的法宝，更不应 该成为各行各业的马甲。真正的大数据应该体现在多源数据的融合，绝不 仅仅是数据的“海量”。而事实上，不少地方、行业搞的大数据，只是单 一数据的简单叠加，并不是真正的大数据。更何况，有的行业根本不需要 大数据分析，也来凑热闹。 由此也带来了一些问题。第一，宣传过热但我们对数据的认识却不到 位；第二，投入过热但资源浪费现象明显；第三，大数据定义业内己有共 识，但核心观点、命题还存在很多争议。例如如何定义数字化世界的大或 小，如何更好地基于理论知识的突破来获得数据分析结论。 此外，大数据现象的长期存在对我们的计算能力也在不断提出挑战。 一是分析对象从过去经过预处理的数据转变为现在的原始数据，以前是样 本数裾，现在是全数据，以前是单源单模态数裾，现在是多源多模态数据， 即分析对象发生了根本变化；二是分析需求发生了变化，我们现在需要高 精度分析、复杂关联的深层特征，以及人规模的复杂关联；三是变化分析 模型能力的变化，我们需要追求从表达力受限的低维数据到高信息量的高 维数据，从弱表达力的简单模型到强表达力的复杂模型。目前来看，绝大 多数采用的大数据分析方法主要是可视化展现、统计分析，以及机器学习 技术。而现在以通用性考虑为主的IT体系也很难满足大数据的需求，有 必要考虑对整个TT架构进行革命性重构。 大数据三个应用层次 大数据的价值己被广泛认知，并应用在很多地方。例如，谷歌研发的 无人驾驶汽牟，不仅有实时感知系统，而且还有基于大数据的认知网络。 比如小球滚到路口，根据大数据分析，可能后面还会跟着一个小孩，无人 驾驶汽车就要注意避让。 大数据应用有这样一个经典案例：在美国沃尔玛连锁超市中，尿布和 啤酒摆在一起出倍，并且销量双双增加了。原来，美国的妇女经常会嘱咐 丈夫下班后为孩子买尿布。而丈夫买完尿布后又耍顺手买回自己爱喝的啤 酒，因此啤酒和尿布在一起购买的机会很多。而正是商家通过对超市一年 多原始交易数字进行详细分析，才发现了这对神奇的组合。 对当下很火的大数据预测，也不能全信。比如大数据预测奥斯卡奖， 有其一定合理性。但是用大数据预测股市却不能全信，因为这是一个开放 系统，股民看到大数据分析后会有从众心理，影响股市走向。 随着大数据应用案例不断涌现，我们可将其分为四类，一是互联网