年大数据行业深度梳理总结30.doc

2014年大数据行业深度梳理总结 大数据时代不是突然出现的，实际上过去的几十年间，数学分析就已经涉猎金融行业了，诺贝尔经济学奖获得者哈里.马克维茨、威廉.夏普、罗伯特.恩格尔就是利用计量经济学知识和金融市场数据来建立数学模型，预测金融市场产品收益同风险波动的关系。大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。 　　首先来介绍一下大数据时代中新出现的数据类型： 1）过于一些记录是以模拟形式方式存在的，或者以数据形式存在但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。举个例子Facebook每天有18亿张照片上传或被传播，形成了海量的数据。 2）移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据,已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。 3）电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。 4）进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。 5）电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。 6）传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。 我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。 一、大数据时代带给我们的思考 1）大数据计算提高数据处理效率，增加人类认知盈余 大数据技术就像其他的技术革命一样，是从效率提升入手。大数据技术平台的出现提升了数据处理效率。其效率的提升是几何级数增长的，过去需要几天或更多时间处理的数据，现在可能在几分钟之内就会完成。大数据的高效计算能力，为人类节省了更多的时间。我们都知道效率提升是人类社会进步的典型标志，可以推断大数据技术将带领人类社会进入另外一个阶段。通过大数据计算节省下来的时间，人们可以去消费，娱乐和创造。未来大数据计算将释放人类社会巨大的产能，增加人类认知盈余，帮助人类更好地改造世界。 2）大数据通过全局的数据让人类了解事物背后的真相 相对于过去的样本代替全体的统计方法，大数据将使用全局的数据，其统计出来的结果更为精确，更接事物真相，帮助科学家了解事物背后的真相。大数据带来的统计结果将纠正过去人们对事物错误的认识，影响过去人类行为、社会行为的结论，带来全新的认知。有利于政府、企业、科学家对过去人类社会的各种历史行为真正原因的了解，大数据统计将纠正样本统计误差，为统计结论不断纠错。大数据可以让人类更加接近了解大自然，增加对自然灾害原因的了解。 3）大数据有助于了解事物发展的客观规律，利于科学决策 大数据收集了全局的数据，准确的数据，通过大数据计算统计出了解事物发展过程中的真相，通过数据分析出解人类社会的发展规律，自然界发展规律。利用大数据提供的分析结果来归纳和演绎出事物的发展规律，通过掌握事物发展规律来帮助人们进行科学决策，大数据时代的精准营销就是典型的应用。 4）大数据提供了同事物的连接，客观了解人类行为 在没有大数据之前，我们了解人类行为的数据往往来源于一些被动的调查表格及滞后的统计数据。拥有了大数据技术之后，大量的传感器如手机APP、摄像头、分享的图片和视频等让我们更加客观的了解人类的行为。大数据技术连接了人类行为，通过大数据将人类的行为数据收集起来，经过一定的分析后来统计人类行为，帮助我们了解人类的行为。可以说大数据的一个重要作用就是将人类行为数据进行收集分析，了解人类行为特点，为数据价值的商业运用提供基础资产 5）大数据改变过去的经验思维，帮助人们建立数据思维 人类社会的发展一直都在依赖着数据，无论是各国文明的演化，农业的规划，工业的发展，军事战役及政治事件等。但是出现大数据之后，我们将会面对着海量的数据，多种维度的数据、行为的数据、