- 1、本文档共10页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据学习第一周大数据学习第一周
文件状态:文件标识: [ ] 草稿当前版本: [ ] 正式发布作 者: [ ] 正式修改完成日期: 版本历史版本号文档状态简要说明(变更内容和变更范围)修改日期变更人V1.0A新增文档说明:文档状态:R――发布,A——增加,M——修改,D——删除文档状态对应的版本号规则:发布的版本号只有x.y,处于修改状态的号则为x.y.z的方式。如: V1.1为发布版本;V1.0.1为修改版本。概念大数据(big data),指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。在维克托?迈尔-舍恩伯格及肯尼斯?库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性)。对于“大数据”(Big data)研究机构Gartner给出了这样的定义。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看,大数据指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义:大数据是最大的宣传技术、是最时髦的技术,当这种现象出现时,定义就变得很混乱。 Kelly说:大数据是可能不包含所有的信息,但我觉得大部分是正确的。对大数据的一部分认知在于,它是如此之大,分析它需要多个工作负载,这是AWS的定义。当你的技术达到极限时,也就是数据的极限。大数据不是关于如何定义,最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比,开源的大数据分析工具的如Hadoop的崛起,这些非结构化的数据服务的价值在哪里。麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据分析的五个基本方向从所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。那么越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。基于如此的认识,大数据分析普遍存在的方法理论有哪些呢?Analytic Visualizations(可视化分析)大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。Data Mining Algorithms(数据挖掘算法)大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。Predictive Analytic Capabilities(预测性分析能力)大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。Semantic Engines(语义引擎)大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、标签关键词、或其他输入语义,分析,判断用户需求,从而实现更好的用户体验和广告匹配。Data Quality and Master Data Management(数据质量和数据管理)大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面,当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。大数据技术数据采集:ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。 数据存取:关
您可能关注的文档
- 大学语文作业4大学语文作业4.doc
- 大学语文古文练习题大学语文古文练习题.doc
- 大学语文在线作业大学语文在线作业.docx
- 大学语文_密押卷大学语文_密押卷.doc
- 大学语文基础知识大学语文基础知识.doc
- 大学语文复习--大学语文复习--.doc
- 大学语文复习指导二大学语文复习指导二.doc
- 大学语文复习资料大学语文复习资料.docx
- 大学语文复习资料1大学语文复习资料1.doc
- 大学语文复习重点大学语文复习重点.doc
- 某某单位2024年党建工作总结及2025年工作计划.doc
- 某某市发改委关于2024年度落实党风廉政建设工作责任制情况的报告.doc
- 某某局2024年全面从严治党和党风廉政建设工作总结.doc
- 某某区财政局2024年法治政府建设总结及2025年工作谋划.doc
- 2024年党管武装工作述职报告2篇.doc
- 2024年度国企党委书记抓基层党建工作述职报告3篇.doc
- 公司党委书记2024年述职述廉报告.docx
- 2024年度乡镇党委领导班子民主生活会(四个带头)对照检查材料.doc
- 市医疗保障局关于2024年法治政府建设工作情况的报告.docx
- 市民政局党组2024年巡察整改工作情况报告.docx
最近下载
- 带电粒子在电磁场中的运动(交变电磁场) 动画演示.ppt
- 2024届高考语文复习:诗歌鉴赏之题材 咏物言志诗 课件(共33张PPT).pptx VIP
- 中国非遗打铁花介绍英文版.pptx VIP
- 品牌手册丨超级动漫IP奶龙_品牌手册.docx
- 新改版苏教版六年级上册科学全册精编期末复习知识点.doc
- 《油船在港作业安全要求GB+18434-2022》详细解读.pdf
- SolidWorks Flow Simulation 2024 版软件实例教程 12.pdf VIP
- 2024年山西省中考生物真题(附答案解析).docx
- 部编版九年级下册语文课内古诗词阅读练习题汇编(含答案解析).docx
- 2022年新高考I卷读后续写David's run公开课课件-高三英语一轮复习.pptx
文档评论(0)