大数据时代的数据挖掘与商务智能(二).ppt

* 数据分析与挖掘 有许多预测机构和名人都看好数据分析技术对未来科学技术的影响，对市场所占有的份额有乐观的估计。 世界有名的Gartner Group咨询公司预计：不久的将来先进大型企业会设置“统一数据分析专家”, 数据分析的应用一定会扩展开来！ 微软专家也认为数据分析与挖掘会成为21世纪的重要技术之一，也有研究小组。在微软亚洲研究院（）有相应的研究，有多个研究小组与数据分析有关。 第三十一页，共四十五页。 * 数据分析与挖掘概况 一些技术的发展也需要数据分析技术。 ERP(企业资源计划), SCM(物流与供应链管理), CRM(客户关系管理)，BI（商务智能）， 数据库， 数据仓库，知识管理 决策支持系统新的发展。 数据的大量积累，需求的多样性而发展起来。 第三十二页，共四十五页。 * 大数据时代的数据挖掘与商务智能 第一页，共四十五页。 * 大 纲 大数据的时代背景 商务智能与数据科学 基于统计的传统数据分析技术 数据管理系统与联机分析处理 数据挖掘与知识发现技术 典型应用及案例分析 第二页，共四十五页。 * 第二部分 商务智能与数据科学 第三页，共四十五页。 * 商务智能概论 什么是商务智能？ 数据、信息、知识 管理、信息与决策 决策支持系统 第四页，共四十五页。 * 什么是商务智能？ 商务智能(BI)定义众说纷纭。 高级管理人员信息系统（EIS) 管理信息系统（MIS），决策支持系统（DSS） 数据库技术，数据仓库(数据集市) 数据整合与清洗工具 查询和报告工具,在线分析处理工具(OLAP) 统计数据分析，数据挖掘 分析性ERP、CRM、SCM。 企业绩效管理，平衡记分卡…… 第五页，共四十五页。 商业智能——Gartner 商业智能的概念于1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。 * 第六页，共四十五页。 * 什么是商务智能？ 商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力。 第七页，共四十五页。 * 企业 企业——这里用“组织机构”或“实体”会显得更完整，因为所有的组织机构和实体（不只是企业）都可以而且应该利用商务智能；之所以仍用“企业”是为保持与“商务”的一致性。各行各业，包括非企业性机构，比如政府部门、教育机构、医疗机构和公用事业等，都应该而且能够利用商务智能。　 第八页，共四十五页。 * 现代信息技术 利用现代信息技术——这是这一定义中的关键之一，IT的发展产生了信息经济和信息社会，在这一新型的经济和社会形态中，信息的爆炸式激增又产生了对能够处理和控制信息的新技术的强烈需求；商务智能就是新的IT在商务分析中的有效利用。 BI过程中所涉及的IT主要有：从不同的数据源收集的数据中提取有用的数据，对数据进行清理以保证数据的质量，将数据经转换、重构后存入数据仓库或数据集市（这时数据变为信息），然后寻找合适的查询、报告和分析工具和数据挖掘工具对信息进行处理（这时信息变为辅助决策的知识），最后将知识呈现于用户面前，转变为决策。 第九页，共四十五页。 * 收集数据 收集——收集数据是管理和分析数据的前提，数据收集工作是十分重要的，必须引起企业的充分重视，在这方面中国企业与世界上发达国家中的先进企业之间的差距非常大，这是商务智能在中国还不能很快成熟起来的重要原因之一， 这应了中国的一句俗话：“巧妇难为无米之炊”。 数据和信息的收集主要是通过各种交易系统进行的，比如ERP、CRM、SCM和E-Business等系统。随着中国企业在这些方面的进步，数据和信息的数量会快速增长的。另外，信息，特别是非结构化的信息，来自公司各个部门和各个员工创造和收集的、没有放在上述交易系统中的内容。第三方也是企业收集数据和信息的一个重要来源，这样的外部数据和信息包括市场调研报告、人口统计报告、顾客信用报告等。 第十页，共四十五页。 * 管理和分析数据 管理——这里的“管理”主要是指对数据的储存、提取、清洗、转换、装载、整合等工作，其目的主要是为了提高数据的质量和安全性。 分析——“分析”是一个广泛的概念，这里包括数据查询、数据报告、多维分析、数据挖掘、高级统计分析等。大多数人理解的商务智能都集中在这些分析工具上。 第十一页，共四十五页。 * 结构化与非结