大数据与决策(2016-1)试题.pptVIP

大数据分析与决策;一、大数据的相关概念 二、大数据分析 三、大数据应用的典型案例 四、大数据的可靠性 五、大数据与贝叶斯方法;数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段;全球信息化发展已步入大数据时代 150亿个设备连接到互联网 全球每秒钟发送 290万封电子邮件 每天有 2.88 万小时视频上传到Youtube Facebook 每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB 2011年全球产生数据量1.8ZB，预计2020年将增长到35ZB 大数据正迅速成为最值得关注的IT领域之一 2011年5月，EMC World 2011大会主题“云计算相遇大数据”，EMC 除了一直倡导的云计算外，还抛出大数据（Big Data）概念 2011年6月底，IBM、麦肯锡等众多国外机构发布大数据相关研究报告，予以积极跟进 2011 年10 月，Gartner 认为2012 年十大战略技术将包括大数据 2011 年11 月底，IDC（互联网数据中心） 将大数据放入2012 年信息通信产业十大预测之一;;“大数据”是如何产生的？ ;大数据时代的爆炸增长;大数据的4V特征;数据体量巨大（Volume）： 百度资料表明，其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB)，这些数据如果打印出来将超过5千亿张A4纸。有资料证明，到目前为止，人类生产的所有印刷材料的数据仅为200PB（不能在单个计算机上集中存储，一般需要用到分布式/云计算模式等）。 数据类型多样化： 现在的数据不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多种类型的数据，个性化、非结构化数据占据较大比例。;大数据的构成;*;利用GPS数据了解交通状况;*;行业;一、大数据的相关概念 二、大数据分析 三、大数据应用的典型案例 三、大数据的可靠性 四、大数据与贝叶斯方法;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等;　　Analytic Visualizations（可视化分析） 　　Data Mining Algorithms（数据挖掘算法） 　　Predictive Analytic Capabilities（预测性分析能力） 　　Semantic Engines（语义引擎） 　　Data Quality and Master Data Management（数据质量和数据管理）　　;　　Analytic Visualizations（可视化分析） 不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 　　;　Data Mining Algorithms（数据挖掘算法） 可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。 　　;　Predictive Analytic Capabilities（预测性分析能力） 数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。;　Semantic Engines（语义引擎） 我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。;　 Data Quality and Master Data Management（数据质量和数据管理） 　　数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。;一、大数据的相关概念 二、大数据分析 三、大数据应用的典型案例 三、大数据的可靠性 四、大数据与贝叶斯方法;*;*;*;*;*;*;*;*;*;*;*;*;一、大数据的相关概念 二、大数据分析 三、大数据应用的典型案例 四、大数据的可靠性 五、大数据与贝叶斯方法;*;*;*;*;*;*;*;*;一、大数据的相关概念 二、大数据分析 三、大数据应用的典型案例 四、大数据的可靠性 五、大数据与贝叶斯方法; 假设掷出一枚硬币，正面朝上的概率是50%，如果连续99次投掷硬币都是