商务智能与数据科学.ppt

* 数据分析与挖掘 有许多预测机构和名人都看好数据分析技术对未来科学技术的影响，对市场所占有的份额有乐观的估计。 世界有名的Gartner Group咨询公司预计：不久的将来先进大型企业会设置“统一数据分析专家”, 数据分析的应用一定会扩展开来！ 微软专家也认为数据分析与挖掘会成为21世纪的重要技术之一，也有研究小组。在微软亚洲研究院（/asia/）有相应的研究，有多个研究小组与数据分析有关。 * 数据分析与挖掘概况 一些技术的发展也需要数据分析技术。 ERP(企业资源计划), SCM(物流与供应链管理), CRM(客户关系管理)，BI（商务智能）， 数据库， 数据仓库，知识管理 决策支持系统新的发展。 数据的大量积累，需求的多样性而发展起来。 * 数据分析与挖掘概况 数据分析与挖掘 数据库越来越大 有价值的知识 可怕的数据 * 数据分析与挖掘概况 数据爆炸，知识贫乏 苦恼: 淹没在数据中 ; 不能制定合适的决策! 数据 知识 决策 模式 趋势 事实 关系 模型 关联规则 序列 目标市场 资金分配 贸易选择 在哪儿做广告 销售的地理位置 金融 经济 政府 人口统计 生命周期 * 应用需求 科学领域 生物医学数据 DNA数据分析 空间数据分析 (GIS, GPS, 遥感系统) 商业领域 经济 金融数据分析 零售业数据分析 电信业数据分析 WWW数据分析 Necessity is the mother of invention（Plato） * 现代数据分析的特点 最大的特点：海量数据集（大数据） 美国零售商沃尔玛每天大约2千万笔的交易，一年的客户交易数据库容量超过11TB ATT公司，1亿电话用户，每天3亿次的呼叫特征数据 美国宇航局NASA的地球观测系统每小时生成几个GB的原始数据 人类基因工程中超过3.3×109个核苷酸的数据库 其它特点：较高维度，有噪声，属性值缺失 * 技术驱动 更大,更便宜的存储器 -- 磁盘密度以Moore’s law增长 “每18个月增长一倍” -- 存储器价格飞快下降 下降更快,更便宜的信息处理器 -- 分析更多的数据 -- 适应更多复杂的模型 -- 引起更多查询技术 -- 激起更强的可视化技术 数据处理与分析技术 -- 数据库与数据仓库 -- 统计学 -- 人工智能 -- 机器学习 * 智能数据分析（1） Intelligent data analysis has its origins in various disciplines. Ststistics and machine learning is the most important two disciplines.（2003） * 智能数据分析（2） 智能数据分析是指利用人工智能的方法对数据进行分析，力图从海量数据中挖掘出有用的信息，获取所需的知识。（2007） * 智能数据分析（3） 智能数据分析技术是多种学科的交叉的产物。它是商业（企业）竞争需求和技术发展推动的结果。 个人观点： 商务智能 智能数据分析 统计学 数据分析 机器学习 数据挖掘 数学 计算机科学 人工智能 数据库 数据仓库 信息管理 知识管理 数据科学的构成 * 计算机技巧 数学和统计知识 实质性的专业知识 * 数据科学家的能力 计算机能力：数据的获取和整理 数学和统计学能力：数据的挖掘 图形可视化：数据的提炼和展现 * * 谢 谢 ！ 3333 * 2222 * * 大数据时代的数据挖掘与商务智能 郭崇慧 教授 guochonghui@ 大连理工大学 管理科学与工程学院 系统工程研究所 * 大 纲 大数据的时代背景 商务智能与数据科学 基于统计的传统数据分析技术 数据管理系统与联机分析处理 数据挖掘与知识发现技术 典型应用及案例分析 * 第二部分 商务智能与数据科学 * 商务智能概论 什么是商务智能？ 数据、信息、知识 管理、信息与决策 决策支持系统 * 什么是商务智能？ 商务智能(BI)定义众说纷纭。 高级管理人员信息系统（EIS) 管理信息系统（MIS），决策支持系统（DSS） 数据库技术，数据仓库(数据集市) 数据整合与清洗工具 查询和报告工具,在线分析处理工具(OLAP) 统计数据分析，数据挖掘 分析性ERP、CRM、SCM。 企业绩效管理，平衡记分卡…… 商业智能——Gartner 商业智能的概念于1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应