第5章 可视化关键技术 .ppt

精选ppt 精选ppt 高级大数据人才培养丛书之一，大数据挖掘技术与应用 何光威 主编 郑志蕴 梁英杰 朱琼琼 副主编 BIG DATA 刘 鹏 张 燕 总主编 大数据可视化 精选ppt 第5章　大数据可视化的关键技术 5.1大数据架构 5.2大数据核心技术 5.3 可视化关键技术 5.4大数据可视化渲染 高级大数据人才培养系列丛书 of 45 * 习题 精选ppt 5.1大数据架构 第5章　大数据可视化的关键技术 of 45 * 对于“大数据”，研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 ITU Y.3600标准首先明确给出了大数据的定义：一种允许可能在实时性约束条件下收集、存储、管理、分析和可视化具有异构特征的大量数据集的模式。 国内普遍接受的定义：具有数量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的数据。因此大数据的内涵不仅是数据本身，还包括大数据技术和大数据应用。 。 精选ppt 5.1大数据架构 第5章　大数据可视化的关键技术 of 45 * 大数据的数据特征，有4V、5V、7V或11V特征等来描述。 容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息（量）； 速度（Velocity）：指获得数据的速度，实时获取需要的信息（速）； 种类（Variety）：结构化数据、半结构化数据和非结构化数据（类）； 价值（value）：价值密度低；合理运用大数据，以低成本创造高价值（价）； 真实性（Veracity）：数据的质量，数据清洗，去伪存真（真）； 可视化（Visualization）：可视化可推动大数据的普及应用（普）； 粘性（Viscosity）：改善用户体验，增加用户对媒体的粘性（粘）； 上述定义都有一定的道理，特别是5V定义，目前已经被越来越多地接受。大数据时代最大的转变，就是放弃对因果关系的渴求，取而代之关注相关关系。也就是说，只要知道“是什么”，而不需要知道“为什么”。 哪5V？ 。 精选ppt 第5章　大数据可视化的关键技术 of 45 * 5.1大数据架构 一个概念体系 二个价值链维度 指它为大数据参考架构中使用的概念提供了一个构件层级分类体系，即“角色-活动-功能组件”，用于描述参考架构中的逻辑构件及其关系 “IT价值链”和“信息价值链”，其中“IT价值链”反映的是大数据作为一种新兴的数据应用范式对IT技术产生的新需求所带来的价值，“信息价值链”反映的是大数据作为一种数据科学方法论对数据到知识的处理过程中所实现的信息流价值。 大数据参考架构总体上可以概括为“一个概念体系，二个价值链维度”。 精选ppt 5.1大数据架构 第5章　大数据可视化的关键技术 of 45 * 大数据参考架构图的整体布局按照代表大数据价值链的两个维度来组织，即信息价值链（水平轴）和IT价值链（垂直轴）。 精选ppt 5.1大数据架构 第5章　大数据可视化的关键技术 of 45 * 系统协调者 系统协调者角色提供系统必须满足的整体要求，包括政策、治理、架构、资源和业务需求，以及为确保系统符合这些需求而进行的监控和审计活动。 系统协调者的功能是配置和管理大数据架构的其他组件，来执行一个或多个工作负载。 系统协调者也可以通过管理角色监控工作负载和系统，还可能弹性地分配和提供额外的物理或虚拟资源，以满足由变化/激增的数据或用户/交易数量而带来的工作负载需求。 01 参考架构可以用于多个大数据系统组成的复杂系统（如堆叠式或链式系统），这样其中一个系统的大数据使用者可以作为另外一个系统的大数据提供者。 精选ppt 5.1大数据架构 第5章　大数据可视化的关键技术 of 45 * 数据提供者 数据提供者角色为大数据系统提供可用的数据。数据提供者通常需要为各种数据源（原始数据或由其它系统预先转换的数据）创建一个抽象的数据源，通过不同的接口提供发现和访问数据功能。 在一个大数据系统中，数据提供者的活动通常包括采集数据、持久化数据、对敏感信息进行转换和清洗、创建数据源的元数据及访问策略、访问控制、通过软件的可编程接口实现推或拉式的数据访问、发布数据可用及访问方法的信息等。 针对大数据的4V特性和系统设计方面的考虑，暴露和访问数据的接口需要根据变化的复杂性采用推和拉两种软件机制。这两