大数据应用及职业定位.doc

大数据应用及职业定位 大数据应用，是利用大数据分析的结果!为用户提供辅助决策!发掘潜在价值的过程。在说大数据的应用之前，让我们先来说说大数据与大规模数据、海量数据的差别: 从对象角度看,大数据是大小超出典型数据库软件采集、储存、管理和分析等能力的数据集合。需要注意的是,大数据并非大量数据的简单无意义的堆积,数据量大并不意味着一定具有可观的利用前景。由于最终目标是从大数据中获取更多有价值的“新”信息,所以必然要求这些大量的数据之间存在着或远或近、或直接或间接的关联性,才具有相当的分析挖掘价值。数据间是否具有结构性和关联性,是“大数据”与“大规模数据”的重要差别。 从技术角度看,大数据技术是从各种各样类型的大数据中,快速获得有价值信息的技术及其集成。“大数据”与“大规模数据”、“海量数据”等类似概念间的最大区别,就在于“大数据”这一概念中包含着对数据对象的处理行为。为了能够完成这一行为,从大数据对象中快速挖掘更多有价值的信息,使大数据“活起来”,就需要综合运用灵活的、多学科的方法,包括数据聚类、数据挖掘、分布式处理等,而这就需要拥有对各类技术、各类软硬件的集成应用能力。可见,大数据技术是使大数据中所蕴含的价值得以发掘和展现的重要工具。 从应用角度看,大数据是对特定的大数据集合、集成应用大数据技术、获得有价值信息的行为。正由于与具体应用紧密联系,甚至是一对一的联系,才使得“应用”成为大数据不可或缺的内涵之一。 需要明确的是,大数据分析处理的最终目标,是从复杂的数据集合中发现新的关联规则,继而进行深度挖掘,得到有效用的新信息。如果数据量不小,但数据结构简单,重复性高,分析处理需求也仅仅是根据已有规则进行数据分组归类,未与具体业务紧密结合,依靠已有基本数据分析处理技术已足够,则不能算作是完全的“大数据”,只是“大数据”的初级发展阶段。 （一）大数据应用 大数据的类型大致可分为三类： （1）传统企业数据（Traditional enterprise data）：包括CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等； （2）机器和传感器数据（Machine-generated/sensor data）：包括呼叫记录（Call Detail Records），智能仪表，工业设备传感器，设备日志（通常是Digital exhaust），交易数据等； （3）社交数据（Social data）：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。 从三大产业的角度将大数据的核心商业价值分类讨论。大数据应用，是利用大数据分析的结果，为用户提供辅助决策，发掘潜在价值的过程。从理论上来看：所有产业都会从大数据的发展中受益。但由于数据缺乏以及从业人员本身的原因，第一、第二产业的发展速度相对于第三产业来说会迟缓一些。 各个行业利用大数据价值的难易度以及发展潜力以及Open Data时代里七大行业潜在的经济价值，自上而下分别是教育，运输，消费品、电力、石油与天然气、医疗护理、消费金融。 5.1 面向在线社交网络大数据的应用 在线社交网络，是一种在信息网络上由社会个体集合及个体之间的连接关系构成的社会性结构。在线社交网络大数据主要来自即时消息、在线社交、微博和共享空间4类应用。由于在线社交网络大数据代表了人的各类活动，因此对于此类数据的分析得到了更多关注。在线社交网络大数据分析是从网络结构、群体互动和信息传播3个维度，通过基于数学、信息学、社会学、管理学等多个学科的融合理论和方法，为理解人类社会中存在的各种关系提供的一种可计算的分析方法。目前，在线社交网络大数据的应用包括网络舆情分析、网络情报搜集与分析、社会化营销、政府决策支持、在线教育等。 2013年4月，美国计算搜索引擎Wolfram Alpha,通过对Facebook中100多万美国用户社交数据进行分析，试图研究用户的社会行为规律。根据分析发现，大部分Facebook用户在20岁出头时开始恋爱，27岁左右时订婚，30岁左右结婚，而30~60岁之间，婚姻关系变化缓慢。这个研究结果与美国人口普查数据相比，几乎完全一致。 总得说来，在线社交网络大数据应用可以从以下3方而帮助我们了解人的行为，以及掌握社会和经济活动的变化规律：（1）前期警告，通过检测用户使用电子设备及服务中出现的异常，在出现危机时可以更快速地应对。（2）实时监控，通过对用户当前行为、情感和意愿等方而的监控，可以为政策和方案的制定提供准确的信息。（3）实时反馈，在实时监控的基础上，可以针对某些社会活动获得群体的反馈信息。 5.2 医疗健康大数据应用 医疗健康数据是持续、高增长的复杂数据，蕴涵的信息价值也是丰富多样。对其进行有效的存储、处理、查询和分析，可以开发出其潜在价值。对于医疗大数据的