(精)1、大数据概念认知与特征.pptVIP

基于SQL语言: 面对OLAP的传统行和列 不基于SQL或map-reduce的: 由谷歌率先发起 数据流: 基于运行商数据直接生成任意图形 新平台技术 数据入口/汇聚 数据平台 分析 不同范围的服务 传统交付模式?-?单片或基于设备的解决方案 云: 能够充分利用物理设施的弹性，以实现处理快速增长数据的能力 “数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。” - Forrester analyst Jim Kobielus 新的传输方案 新模式和新技术 展现方式：大型控制中心、移动终端 在多样性、体量、速度三大主要特征的指引下，大数据将有新型的展现方式：大型控制中心和移动终端，实现数据的实时处理和快速决策。 首先，我们看一看这门课程的学习路线图： 课程一共包含三个阶段：初识、认知和深入。 在初识阶段，我们会了解什么是大数据、大数据有哪些重要的特性，大数据与传统数据库相关技术的关系，大数据与云计算等新兴技术的关系，从而对大数据这个概念有一个初步认识。 在认知阶段，我们重点会从非技术角度讲解大数据为人类带来的变化，包括思维方面的变化、商业模式的变化、管理方式的变化等，会简单介绍大数据目前在国内外发展的情况以及未来的发展趋势。通过这个阶段的学习，我们会对大数据有一个比较清晰的认识，明确不同类型的人员在大数据领域的学习方向。 在深入阶段，我们会从技术角度对大数据展开介绍，既包含一些数学原理和算法，也包含一些成型的系统和产品。 三个阶段的学习并不是完全的线性关系，在后续的技术学习过程中，还会不断的通过实例巩固前两个阶段的学习成果。 通过这门课程的学习，希望大家不仅仅了解和初步掌握大数据的相关概念和技术，更重要的是建立起基于大数据的思维方式，并将之运用到我们的日常生活中。 * 最后介绍三本参考资料： 第一本是非技术性的，第二本是关于框架和产品的，第三本是关于理论的，有兴趣的读者可以依次阅读，逐步加深对大数据的理解。 * Billions:數十億的 Millions:數百萬的 Tens of thousands:數以萬計 * * * 大数据时代的新思维 主讲：桂云苗 “大数据的应用”学习路线图 深入 认知 初识 大数据算法与理论 大数据系统与实践 NoSQL Hadoop 大数据带来的思维变化 大数据带来的价值链 大数据发展现状与未来 大数据 vs 人类 什么是大数据 大数据的特性 大数据与传统技术的关系 大数据与其他新兴技术的关系 参考资料推荐 BIG DATA大数据概念认知与特征 前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。 谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。 这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。 互联网越来越智能 Google精确掌握用户行为、获取需求 微博为新浪带来巨大价值 马云的判断来自于数据分析 “2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。” 马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。 腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。 Gartner 2011年技术成熟曲线,大数据处于高速发展期 技术演进历史揭示未来是大数据驱动的智慧经济模式 什么才是大数据? 指数型增长的海量数据 海量数据就是大数据？ 大数据就是云计算？ * 大数据技术挑战 * 大数据技术挑战 大数据与传统数据库的区别 大数据是在传统数据库学科的分支——数据仓库与数据挖掘的基础上进一步发展起来的。但有两点比较主要的不同： 结构化程度 传统数据库保存的是结构化或者半结构化的数据，以二维表或者标准XML文件的方式存储数据，由于结构清晰，处理相对容易； 大数据面向的是一切计算机可以存储的数据格式，包括互联网上的各种网页、图片、音频、视频，包括办公文档、报表，