大数据应用现状.docVIP

大数据应用现状 互联网、移动APP、金融业务的快速发展产生着大量数据，2020 年全球数据总量将达到35ZB（目前邮政大数据平台为3PB）。?随着大数据在我国被确定成为国家战略，“大数据”成了时下热词。在诸多领域，大数据分析已成为生产、经营、决策、管理的一大助力。 一、大数据工作内容 大数据分析工作主要包括数据采集、数据加工、数据应用。大数据公司可以是从事单一业务，也可以是三种业务的任意组合。 数据采集 运用传感器设备、爬虫工具、抽取系统数据库的方式整合数据。 传感器设备包括监控摄像头、人脸识别仪、手机等日常常用设备。通过收集人、商品、场景等图片，分析人脸特征、商品布放、周边环境信息展开专项大数据营销。 爬虫工具的作用是采集互联网数据，例如八爪鱼。通过八爪鱼可采集国内外任意电商网站商品全量、全维度信息，包括商品基本信息、交易记录、价格、库存，以此获取宏观数据， 从而进行市场分析、品牌舆情和价格监控。 抽取系统数据库，就是对存量数据的抽取，例如邮政的储蓄、保险、营业、报刊等系统产生的存量数据。另外可以通过网络资源：如“中国人民银行”网站获取金融类宏观数据，“中华人民共和国国家统计局”、“国家数据”得到各行业发展数据，“艾瑞网”查询产业资讯、数据、报告、专家观点、行业数据库。 数据加工 数据加工主要是对数据进行质量检查与去重清洗工作。目前在河北邮政的下载平台中，大量数据存在重复、缺失、不一致的情况。对我们而言数据加工的前提是对数据进行治理。 数据应用 数据应用主要体现在数据挖掘、展示两方面的内容。而目前，大数据公司业务主要是实现商业智能，即可视化“大数据”。古谚云：“一图胜万言”，数据可视化在呈现数据的同时，也对发现数据中新的信息起到关键作用。 大数据应用启示 （一）1854年伦敦爆发严重霍乱，当时流行的观点是霍乱是通过空气传播的，而John Snow医生研究发现，霍乱是通过饮用水传播的。研究过程中，John Snow医生统计每户病亡人数，每死亡一人标注一条横线，分析发现，大多数病例的住所都围绕在Broad Street水泵附近，结合其他证据得出饮用水传播的结论，于是移掉了Broad Street水泵的把手，霍乱最终得到控制。 （二）农夫山泉业务人员每天要到15个销售门店巡视，每个门店用统一设备拍摄10张照片，每天产生10MB数据，而农夫山泉全国拥有1万多名业务员，每年产生36TB非结构化数据。通过这些照片，观察各销售点的摆放方式、位置发生变化及原因，如何摆放有助于销售、不同年龄段购买量、气温变化对购买行为的影响等。对数据进行相关性分析，而不采取因果式判断发现问题，尽快做出经营思路的调整，抢占市场先机。 三、邮政大数据平台建设 清华大学数据科学研究院，执行副院长韩亦舜说，大数据的应用有“三部曲”，第一是不拘泥大数据概念，用好现有的数据；第二是有意识的采集更多、价值密度更高的数据，以利再用；第三是留意其他维度的数据，数据互通，使数据的应用价值进一步释放。 邮政数据由于板块间存在数据壁垒，共享不足，数据存在冗余、分散、安全性差、一致性差等问题，集团公司着手建设大数据平台，目的是打破信息孤岛、实现企业信息数据共享、提升数据使用水平，为市场经营、客户服务、产品设计等带来更多的价值。 大数据平台由邮务、速递、金融三大板块数据归集，包括结构/非结构化数据、内/外部数据。该平台基于HADOOP建设，替代了传统的TERADATA数仓，实现了世界首个在HADOOP上过PB级的数据仓库。该平台前期的主要工作是导入量收、网运、寄递平台、客管、电商等系统数据，后续集团会以租户的形式（类似阿里云）对各省开放，各省通过申请数据可以做相关分析。