16章-数据仓库与联机分析处理技术-数据库系统概论(第五版).pptVIP

数据挖掘技术 5. 数据挖掘的功能 (4)聚类。即将数据分为多个类，使得类内部数据之间的差异最小，而类之间数据的差异最大。与分类不同的是，聚类前并不知道类的个数。聚类技术主要包括传统的模式识别方法和数学分类学等。 (5)孤立点的检测。孤立点是指数据中的整体表现行为不一致的数据集合。这些数据虽然是一些特例，但往往在错误检查和特例分析中是很有用的。 (6)趋势和演变分析。即描述行为随着时间变化的对象所遵循的规律或趋势。 An Introduction to Database System An Introduction to Database System 数据挖掘技术 典型的数据挖掘系统的体系结构 数据挖掘步骤 明确挖掘任务 是要进行分类、聚类还是寻找关联规则等 对所选择数据进行预处理 选择具体的算法进行挖掘 对挖掘出的模式进行评价 消减重复部分 展现最终的结果 An Introduction to Database System 第十六章 数据仓库与联机分析处理技术 16.1 数据仓库技术 16.2 联机分析处理技术 16.3 数据挖掘技术 16.4 大数据库时代新型数据仓库 An Introduction to Database System 16.4 大数据库时代新型数据仓库 在大数据时代，由于系统面临的需求在数据量、数据类型、决策分析复杂度和硬件环境等方面发生了质的变化，经典的DW+OLAP+DM架构已经无法胜任新的BI((Business Intelligence)需求，必须对其进行适应性调整。 1.系统需求的变化 2.传统数据仓库所面临的问题 3.新型数据仓库 1.系统需求的变化 (1)数据量急剧增长 数据仓库中的数据量由TB级升至PB乃至ZB级，并仍在持续爆炸式增长。 (2)数据类型多样 除了结构化数据之外，大数据时代的数据仓库还必须能够处理大量的半结构化和非结构化数据，包括文本、音频、视频、图片、文字、消息等。 数据类型的多样化源于媒介类型的极大丰富 社交网站、在线视频、数码摄像、移动通信、电子商务、遥感卫星等，每天都在源源不断地产生着各种各样的数据。 An Introduction to Database System 1.系统需求的变化 (3)决策分析复杂 大数据时代，决策分析逐渐由常规分析转向深度分析（deep analytics)（包括诸如移动平均线分析、数据关联关系分析、 回归分析、what-if分析等复杂统计分析等）。 除了现有数据的分析和监测，更重要的是能对未来趋势有更多的分析和预测。 (4)底层硬件环境变化 CPU、内存、网络技术飞速发展。 数据处理平台由高端服务器转向由中低端硬件构成的大规模机群。 既满足了数据量的急剧增加需求，又节约了成本 An Introduction to Database System 2.传统数据仓库所面临的问题 (1)数据移动代价过高 在图16.2所示的抽取+离线存储+分析的分层计算模式中，在数据源层和分析层之间引入了一个存储管理层，虽然可以提升数据质量并针对查询进行优化，但也付出了较大的数据迁移代价和执行时的连接代价： 数据首先通过复杂且耗时的ETL过程存储到数据仓库中，在联机分析处理服务器中转化为星形模式或者雪片模式； 执行分析时，又通过连接方式将数据从数据库中取出。 这些代价在TB级数据量时也许可以接受，但面对大数据，其执行时间至少 会增长几个数量级。 对于大量的即席分析，这种数据移动的计算模式是不可取的。 An Introduction to Database System 2.传统数据仓库所面临的问题 (2)不能快速适应变化 假设主题是较少变化的 应对变化的方式 是对数据源到前端展现的整个流程中的每个部分进行修改，然后再重新加载数据，甚至重新计算数据，导致其适应变化的周期较长。 这种模式比较适合对数据质量和查询性能要求较高而不太计较预处理代价的场合。 无法解决海量数据与系统的数据处理能力之间 采用舍弃不重要数据或者建立数据集市的方式来缓解此问题，只是权宜之策 An Introduction to Database System 3.新型数据仓库 新型的数据仓库需具备重要特性 An Introduction to Database System 特性 简要说明 髙度可扩展 横向大规模可扩展，大规模并行处理 高性能 快速响应复杂查询与分析 高度容错性 查询失败时，只需重做部分工作 支持异构环境 对硬件平台一致性要求不高，适应能力强 较低的分析延迟 业务需求变化时，能快速反应 易用且开放接口 既能方便查询，又能处理复杂分析 较低成本 较高的性价比 向下兼容性 支持传统的BI工具 表16.2大数据分析平台需具备的特性 满足上述特性的数据仓库解决方案可