物流信息管理.pptx

《物流信息管理》安徽商贸职业技术学院国际商务与旅游学院主讲教师：孙颖荪

八物流数据存储和分析技术国际商务与旅游学院主讲教师：孙颖荪

8.2数据仓库和数据挖掘的认知和应用

数据仓库和数据挖掘的认知和应用8.2.1数据仓库（一）数据仓库的概念数据仓库（DataWarehouse，DW）是一个面向主题的、集成化的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库的根本任务是将信息加以整理归纳，并及时提供给相应的管理决策人员，支持决策过程，对企业的发展历程和未来趋势做出定量分析和预测。数据仓库

数据仓库和数据挖掘的认知和应用（二）数据仓库的特点1、面向主题操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。2、集成化数据仓库的数据来自于分散的操作型数据，将所需数据从原来的数据中经过抽取、加工、集成、统一与综合之后才能进入数据仓库。

数据仓库和数据挖掘的认知和应用3、相对稳定数据仓库具有相对稳定性，主要是为决策分析提供数据，所涉及的操作主要是数据查询。4、反映历史变化与关系数据库系统比较适合处理格式化数据相比，数据仓库包含大量的综合数据，是随着时间而变化的，可以反映历史变化，随着时间变化，数据仓库不断增加新的数据内容，删去旧的数据内容。

数据仓库和数据挖掘的认知和应用（三）数据仓库与传统数据库的区别1、处理性能日常业务涉及频繁、简单的数据存取，因此对操作型处理的性能要求比较高，需要数据库能够在很短的时间内做出反应。而数据仓库主要为了进行决策分析服务，对业务处理的时间要求不高。2、数据集成企业的操作型处理通常较为分散，因此传统数据库面向应用的特性使数据集成较为困难。而数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息往往是关于整个企业的全局信息。

数据仓库和数据挖掘的认知和应用3、数据更新操作型处理主要由原子事务组成，因此传统数据库中的数据更新频繁，需要并行控制和恢复机制，而数据仓库中的数据相对比较稳定。4、数据时限数据库主要服务于日常的业务操作，而数据仓库需要服务于高层分析决策。5、数据综合操作型处理系统通常只具有简单的统计功能。数据仓库是为企业所有级别的决策制定提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建的。

行业前瞻杭州佰米联手华为云数据库MySQL将物流服务做到极致杭州佰米智能科技发展有限公司（简称“佰米”），是一家致力于为快递、物流企业提供物流信息化软件、系统集成和行业第三方服务平台的研发运营供应商、服务商。佰米的主要业务为快递和增值服务系统，需要存储校园用户、快递、包裹、订单信息、交易等数据，但由于其运维人员少，面临着自建数据库稳定性差、维护成本高等业务挑战。此外，公司业务存在着读多写少的特点，为了减轻主库的压力，需要实现读写分离，自建读写分离过程比较复杂。在了解了佰米读写比达8∶2的典型应用场景和读写分离的业务需求后，华为云为其设计了“DDM分布式数据库中间件+MySQL主备实例+只读实例”的云数据库解决方案。在该方案中，DDM负责对数据进行分表分库处理，将超大数据量分解分配；MySQL主备实例与只读实例同时支持AZ内或跨AZ部署三副本冗余，形成“三足鼎立”的数据库层多副本部署模式，保证了数据的可靠性和高可用性。方案交付后，佰米的数据库主库压力下降了40%，运维成本降低了70%，网点人工成本降低了50%。在佰米的案例中，华为云数据库MySQL起到了关键性作用。事实上，MySQL数据库性能卓越，云化后又拥有即开即用、稳定可靠、安全运行、弹性伸缩、轻松管理、经济实用等特点，是全球最受欢迎的开源数据库之一。

数据仓库和数据挖掘的认知和应用8.2.2数据挖掘（一）数据挖掘的概念数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的、有潜在价值的信息的过程。数据挖掘是一种决策支持过程，基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的信息，帮助决策者调整市场策略，减少风险，作出正确决策。数据挖掘

数据仓库和数据挖掘的认知和应用（二）数据挖掘的功能1、数据总结数据总结源于数据分析中的统计分析。数据总结的目的是对数据进行浓缩，给出紧凑描述。其包括求和值、平均值、方差值等传统统计方法，也包括直方图、饼状图等图形方式。广义上讲，多维分析也可以归入这一类。2、分类数据挖掘的目的是构造一个分类函数或分类模型（也称分类器），该模型能把数据库中的数据项映射到给定类别中的某一个。要构造分类器，需要有一个训练样本