- 1、本文档共56页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第1章 高维大数据;1.1-大数据介绍;1.1.2 大数据的重要性 随着移动互联网、物联网、社交网络等技术和应用的兴起。学术界和工业界都对大数 据赋予大量的关注并展开了深刻的讨论。Nature于2008年第一次推出 BigData专刊[4]。 Science在2011年2月推出专刊《DealingwithData》,主要围绕着科学研究中大数据的 问题展开讨论,说明了大数据对于科学研究的重要性。; 计划在科学研究、环境、生物医学等领域利用大数据技术 进行突破。奥巴马政府的这一计划使大数据上升到国家战略。Gartner在一年一度的技术成熟度曲线(见图1-1)报告中指出,大数据已进入膨胀期,并将在未来2~5年进入发展高峰 期。由此可见,大数据是未来信息技术的重要发展方向之一。;;1.1.3 大数据的定义和特征 麦肯锡说:“大数据指的是所涉及的数据集规模已经超过了传统数据库软件获取、存 储、管理和分析的能力。这是一个被故意设计成主观性的定义,并且是一个关于多大的数 据集才能被认为是大数据的可变定义,即:并不定义大于一个特定 TB数字的数据集才叫 大数据。因为随着技术的不断发展,符合大数据标准的数据集容量也会增长,并且其定义 随不同的行业也有变化,这依赖于在一个特定行业通常使用何种软件和数据集有多大。因 此,大数据在今天不同行业中的范围可以从数十太(TB)字节到数拍(PB)字节。”; IBM 说:“可以用3个特征相结合来定义大数据:数量(Volume)、种类(Variety)和速 度(Velocity),或者就是简单的3V 或 V3,即庞大容量、种类丰富和极快速度生成及处理的 数据。”如图1-2所示。 ;; 数据量:如今存储的数据数量正在急剧增长,使我们深陷在数据之中。我们存储所有 事物:环境数据、财务数据、医疗数据、监控数据等。有关数据量已从太字节(TB)级别转 向拍字节(PB)级别,并且不可避免地会转向 ZB级别。现在经常听到一些企业使用存储集群来保存数拍字节(PB)的数据。可供企业使用的数据量不断增长,而可处理、理解和分析 的数据比例却不断下降。; 数据的多样性:与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑 战:数据多样的种类。随着传感器、智能设备以及社交协作技术的激增,企业中的数据也变 得更加复杂,因为它不仅包含传统的关系型数据,还包含来自网页、互联网日志文件(包括 单击流数据)、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据 等原始、半结构化和非结构化数据。; 数据的处理速度:就像我们收集和存储的数据量及种类发生了变化一样,生成和需要 处理数据的速度也在变化。速度的概念不能限定为与数据存储相关的增长速率,应动态地 将此定义应用到数据———数据流动的速度。有效处理大数据需要在数据变化的过程中对它 的数量和种类进行分析,而不只是在它静止后进行分析。; IDC指出:“大数据是一个貌似不知道从哪里冒出来的大的动力。但是实际上,大数据 并不是新生事物。然而,它确实正在走入主流,并得到重大关注,这是有原因的。廉价的存 储、传感器和数据采集技术的快速发展,通过云和虚拟化存储设施增加的信息链路,以及 创新软件和分析工具,正在驱动着大数据。大数据不是一个‘事物’,而是一个跨多个信息 技术领域的动力和活动。大数据技术描述了新一代的技术和架构,其被设计用于:通过使 用高速(Velocity)的采集、发现或分析,从超大容量(Volume)的多样(Variety)数据中经济 地提取其价值(Value)。”; IDC的定义除了揭示了大数据传统的3V 基本特征,即 Volume、Variety、Velocity,还增添了一个新特征:Value。; 一个大数据实现的主要价值可以基于下面三个评价准则中的一个或多个进行评判: ? 它提供了更有用的信息吗? ? 它改进了信息的精确性吗? ? 它改进了响应的及时性吗?; Gartner说:“实际上,大数据或者说‘极限信息’(ExtremeInformation)具有12个维 度。”图1-3展示了极限信息管理的3个层次和12个象限。;; 图1-3中的最下面一层“量化指标”指的是大数据的基本特征,即大数据量、多样性和 高速,这也就是传统的3V 的概念。另外还加上了复杂性,包括空间维、时间维等多种数据 复杂性。大数据解决方案应首先考虑以这些问题为出发点。然而,解决这4个方面的问题 只是大数据解决方案的基础,用以支撑起大数据平台,在这之上还有很多问题需要解决。; 第二层“访问权限管理和控制”有很多关于访问权限的问题。数据的敏感性是一个很基 础的问题,但到现在为止,基于现有的技术和管理手段,还没有对数据的敏感性进
您可能关注的文档
- 房地产开发与经营PPT课件(共13章)第5章 房地产开发项目可行性研究-第四版.ppt
- 房地产开发与经营PPT课件(共13章)第6章 房地产用地取得与开发-第四版.ppt
- 房地产开发与经营PPT课件(共13章)第8章 房地产开发项目建设过程-第四版.ppt
- 房地产开发与经营PPT课件(共13章)第10章 房地产租赁经营-第四版.ppt
- 房地产开发与经营PPT课件(共13章)第11章 房地产开发经营税收-第四版.ppt
- 房地产开发与经营PPT课件(共13章)第12章 房地产经营效益分析-第四版.ppt
- 领导力与管理沟通PPT课件(共19章)第1章 领导力的概念界定.pptx
- 领导力与管理沟通PPT课件(共19章)第2章 领导力解读.pptx
- 领导力与管理沟通PPT课件(共19章)第3章 领导力变革.pptx
- 领导力与管理沟通PPT课件(共19章)第4章 管理沟通绪论.pptx
- 2024山东枣庄市教育局直属学校补充引进师范类高校优秀毕业生4人笔试模拟试题及答案解析.docx
- 2024山东滨州市市场监督管理局所属滨州市特种设备检验研究院招聘6人笔试模拟试题及答案解析.docx
- 2024西安市第十一中学教师招聘笔试模拟试题及答案解析.docx
- 2024西安秋兰中医医院招聘笔试模拟试题及答案解析.docx
- 2024下半年广东韶关市新丰县招聘暨选聘公办教师38人笔试模拟试题及答案解析.docx
- 2024四川雅安市雨城区考核招聘医护类事业单位人员3人笔试模拟试题及答案解析.docx
- 2024山东泰安市市直事业单位优才回引活动67人笔试模拟试题及答案解析.docx
- 2024年浙江医疗卫生招聘-舟山市定海区卫生健康系统第四批招聘编外人员6人笔试模拟试题及答案解析.docx
- 2024宁夏固原市彭阳县人力资源和社会保障局招聘劳动保障监察协管员1人笔试模拟试题及答案解析.docx
- 2024四川泸州交通技工学校教职工招聘17人笔试模拟试题及答案解析.docx
最近下载
- 最新2023版知识产权贯标GBT29490 18知识产权合规管理控制程序(含表单)[知识产权合规管理体系文件].docx
- 新源(财)Y026-2022国网新源公司工程财务管理办法.pdf VIP
- 二年级上册阅读计划(教材“快乐读书吧”) .pdf VIP
- 《四川省建筑工程施工扬尘防治标准》DBJ51T 231-2023.docx
- 爱心公益基金会章程(精选3篇).docx VIP
- 学校餐厨垃圾处理合同.docx VIP
- 二年级上册语文上册-abb、abcc、aabc、abab、aabb等词语 人教部编版.pdf
- 银行数据治理建设方案.pdf VIP
- 2022类风湿关节炎诊疗规范(全文).pdf
- 内部控制制度固定资产循环.docx VIP
文档评论(0)