大数据导论.docxVIP

大数据技术学习路线指南：大数据是什么[日期：2014-11-18]来源：百度经验 作者：icantwish[字体：大?javascript:ContentSize(0)中?javascript:ContentSize(12)小] 大数据技术作为决策神器，日益在社会治理和企业管理中起到不容忽视的作用，美国，欧盟都已经将大数据研究和使用列入国家发展的战略，类似谷歌，微 软，百度，亚马逊等巨型企业也同样把大数据技术视为生命线以及未来发展的关键筹码。这个系列的教程将从技术和应用的角度解读大数据与云计算里的具体内容， 和你一起拔高人生的视野。大数据是什么？首先，大数据技术是什么？简而言之，从大数据中提取大价值的挖掘技术。专业的说，就是根据特定目标，从数据收集与存储，数据筛选，算法分析与预测，数据分析结果展示，以辅助作出最正确的抉择，其数据级别通常在PB以上，复杂程度前所未有。关键作用是什么？挖掘出各个行业的关键路径，帮助决策，提升社会（或企业）运作效率。最初是在怎样的场景下提出？在基础学科经历信息快速发展之后，就诞生了“大数据”的说法。但其实是随着数据指数级的增长，尤其是互联网商业化和传感器移动化之后，从大数据中挖掘出某个事件现在和未来的趋势才真正意义上被大众所接触。大数据技术包含的内容概述？非结构化数据收集架构，数据分布式存储集群，数据清洗筛选架构，数据并行分析模拟架构，高级统计预测算法，数据可视化工具。大数据技术的具体内容？分布式存储计算架构（强烈推荐：Hadoop）分布式程序设计（包含：Apache Pig或者Hive）分布式文件系统（比如：Google GFS）多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo，?DynamoDB等）数据收集架构（比如：Kinesis，Kafla）集成开发环境（比如：R-Studio）程序开发辅助工具（比如：大量的第三方开发辅助工具）调度协调架构工具（比如：Apache Aurora）机器学习（常用的有Apache Mahout 或 H2O）托管管理（比如：Apache Hadoop Benchmarking）安全管理（常用的有Gateway）大数据系统部署（可以看下Apache Ambari）搜索引擎架构（?学习或者企业都建议使用Lucene搜索引擎）多种数据库的演变（MySQL/Memcached）商业智能（大力推荐：Jaspersoft?）数据可视化（这个工具就很多了，可以根据实际需要来选择）大数据处理算法（10大经典算法）大数据中常用的分析技术？A/B测试、关联规则挖掘、数据聚类、数据融合和集成、遗传算法、自然语言处理、神经网络、神经分析、优化、模式识别、预测模型、回归、情绪分析、信号处理、空间分析、统计、模拟、时间序列分析大数据未来的应用趋势预测？每个人健康和生活都需要的个性化建议；企业管理中的选择和开拓新市场的可靠信息来源；社会治理中大众利益的发现与政策满足。大数据技术学习路线指南：实践原型[日期：2014-11-18]来源：百度经验 作者：icantwish[字体：大?javascript:ContentSize(0)中?javascript:ContentSize(12)小] 大数据的目的在于挖掘价值，而它的本质与OODA循环决策模型非常相似。用OODA这个原型来理解大数据是最合适的了！在战场上，OODA循环决策的周期越短，胜算越大；在市场中，大数据收集和反馈信息最快，效果越好！OODA原型概而论之，OODA指的是在充分观察了解你和对手的环境的前提下，模拟对手在特定环境下的行为，进而做出一系列的对策，并且快速响应执行！之后又迅速收集反馈信息，进入下一个OODA循环决策。观察:指的是通过多角度了解你与对手目前的真实处境。要做的事情就是尽可能全面地收集过去和现在的信息。以求足够了解对手正在所使用的策略和战术。调整：利用观察到的信息来感知和分析对手，并且根据对手的历史信息模拟其后续的决策行为，对目前自己的行为作出最优的调整建议。这一步骤也最为关键！决策：根据自己的现状，从多种调整方案中筛选权衡出最行之有效的执行方案。这一步其实依赖对己方所有大小情况的掌握。胜利属于作出正确决策的一方！执行：这个毋庸置疑，没有执行的方案就是一纸空文。这与平时训练养成的素质有关。中国俗语说，“养兵千日，用兵一时。”这个时候就是生死存亡见分晓的时候了。同时也是在校验决策的正确性！ENDOODA与大数据OODA的整个处理流程，其实就是一个运动控制系统。大数据也是类似，从手机信息、处理分析到决策执行，这些都与OODA有异曲同工之妙！大数据的运算速度与OODA的循环速度一样，都提前决定着结果。OODA强调的是根据对手的行为作出决策；大数据的核心是依据分析结果指导策略的