大数据的管理喻意和展望导论.ppt

2、政府的大数据 在国内，政府各个部门都握有构成社会基础的原始数据，比如：气象数据，金融数据，信用数据，电力数据，煤气数据，自来水数据，道路交通数据，客运数据，安全刑事案件数据，住房数据，海关数据，出入境数据，旅游数据，医疗数据，教育数据，环保数据等等。这些数据在每个政府部门里面看起来是单一的，静态的。 但是，如果政府可以将这些数据关联起来，并对这些数据进行有效的关联分析和统一管理，这些数据必定将获得新生，其价值是无法估量的。 3、企业的大数据 哪些传统企业最需要大数据服务呢？抛砖引玉举几例： 1) 对大量消费者提供产品或服务的企业（精准营销）； 2) 做小而美模式的中长尾企业（服务转型）； 3) 面临互联网压力之下必须转型的传统企业（生死存亡）。 《大数据时代》案例 在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。 Google如何利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势； Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐，以此有效提升销售量； Farecast如何利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。 沃尔玛的啤酒和尿布调研 沃尔玛在研究中发现，一类顾客经常在购买尿布的同时也购买啤酒。尿布跟啤酒自然是毫无关联的两个品类的商品，从个人经验上来看，根本想不到二者的联系。 后来发现，这是一类社会现象所导致的。美国有很多年轻夫妇，尿布用完后，女主人在家带孩子，而男主人就去超市买尿布。买完尿布之后，男主人通常会顺带着买些啤酒。 3、企业的大数据 随着数据逐渐成为企业的一种资产，数据产业会向传统企业的供应链模式发展，最终形成“数据供应链”。这里尤其有两个明显的现象： 1) 外部数据的重要性日益超过内部数据。在互联互通的互联网时代，单一企业的内部数据与整个互联网数据比较起来只是沧海一粟； 2) 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。 4、个人的大数据 个人大数据就是与个人相关联的各种有价值数据信息。被有效采集后，可由本人授权提供第三方处理和使用，并获得第三方提供的数据服务。 （1）数据仅留存在个人中心，其它第三方机构只被授权使用（有一定使用期限），且必须接受用后即焚的监管。 （2）采集个人数据应明确分类，除国家立法明确要求接受监控的数据外，其它类型数据都由用户自己决定是否被采集。 （3）数据使用将只能由用户进行授权，数据中心可帮助监控个人数据的整个生命周期。 4、个人的大数据 展望过于美好，也许实现个人数据中心将遥遥无期，也许这还不是解决个人数据隐私的最好方法，也许业界对大数据的无限渴求会阻止数据个人中心的实现，但是随着数据越来越多，在缺乏监管之后，必然会有一场激烈的博弈：到底是数据重要还是隐私重要；是以商业为中心还是以个人为中心。 虚拟体验 个性推荐 社会网络 网络搜索 五、大数据分析的5个基本方面 可视化分析 Analytic Visualizations 数据挖掘算法 Data Mining Algorithms 预测性分析能力Predicative Analytic Capabilities 语义引擎 Semantic Engines 数据质量和数据管理 Data Quality and Master Data Management 五、大数据分析的5个基本方面 1、可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。 五、大数据分析的5个基本方面 2、数据挖掘算法 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。 大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。 适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 数据存取：关系数据库、NOSQL、