数据分析技术.ppt

战略信息 企业目标 在5年内增加15%的客户 在3年内抢占15%的市场 在2年内投放3种新产品 提高前5%的产品质量 在东北市场提高15%的销售额 所需信息 全面深入地了解公司运营 了解关键因素及其相互作用 检测这些因素如何随时间变化 将公司运营状况和对手以及行业标准做比较 战略信息系统 SIS：Strategic Information Systems 能够支援和改变组织战略行为，使得组织具有竞争力的信息系统 博弈 博弈 博弈 博弈 博弈 博弈 博弈 阿里巴巴：芝麻开门 哪些客户对我们最有利？如何拓展与他们的联系？ 哪些客户给我们提供利润？哪些客户使我们遭受损失？ 根据他们经常光顾的商店，最好的客户居住在哪里？ 哪些产品和服务能被最有效的进行交叉销售，销售对象是谁？ 哪些市场营销案例是最成功的？为什么？ 哪些销售渠道对于哪些产品是最有效的？ 如何才能改善我们用户的总体经历？ 商务智能 商务智能的需求 有巨量的商业数据 日常数据：订单、存货、帐单、 外部数据：客户信息、对手信息、政策 每2到3年商业数据变会翻番 有93%的数据没有在决策过程中使用到！ 商务智能的目的 使人能更快捷、更容易地做出更好的商业决策 终极目标 3w----win, win, win 商务智能 垂拱而治 CEO：统计一下购买我们的产品及竞争对手产品的用户信息 计算机： 垂拱而治 CEO：怎样会使得用户购买我们的产品？ 计算机：刺激销售（如中奖销售、打折优惠）会吸引他们购物 CEO：促销的成本是多少？促销的最佳时机是什么时候？它会吸引多少新用户？ 计算机：…… “三拍”而治 管理活动的层次结构 管理活动各层次中信息的特征 不同层次的信息处理需求 事务处理需求 不同的事务处理子系统 采购子系统：订单、订单细则、供应商 销售子系统：顾客、销售 库存子系统：出库领料单、进料入库单、库存台帐 人事子系统：员工、部门 各种事务处理需求 一笔订购、一笔销售、一次进料、一次出料 要求 强调多用户并发环境，数据的一致性、完整性 不同层次的信息处理需求 分析处理需求 今年销售量下降的因素（时间、地区、商品、销售部门） 某种商品今年的销售情况与以往相比，有怎样的变化？每年的第一季度商品销售在各类商品上的分布情况怎样？ 要求 多个子系统中的数据（数据集成） 历史数据 汇总、综合的数据 DSS早期演化阶段 DSS早期演化阶段 抽取程序 搜索整个文件和数据库，使用某些标准选取合乎限制的数据，并把数据传到其他文件或数据库中 优点 将数据从事务处理应用中转移出来，在进行数据分析时不会与事务处理发生冲突 当将数据从事务处理应用中抽取出来之后，数据的控制方式发生了转变，最终用户可以拥有抽取出来的数据 DSS早期演化阶段 从数据库到数据仓库 事务处理与分析处理的性能特性不同 事务处理环境 数据存取操作频率高 每次操作处理的时间短 占用系统资源少 系统可以允许多个用户按分时方式使用资源，保持较短的响应时间 分析处理环境 运行时间长 消耗大量系统资源 事务与分析应用不宜放在同一中环境中 从数据库到数据仓库 数据集成问题 事务处理 目的是使业务自动化 只关注与本部门业务相关的当前数据 事务处理应用的分散：企业内部各事务处理应用间相互独立 DSS需要集成的数据 （内部各部门数据、外部数据、竞争对手数据） DSS需要对分散在各个事务处理应用中的相关数据进行集成，以向分析人员提供统一的数据视图 数据仓库的定义 数据粒度 粒度 数据综合程度高低的一个度量 粒度越小，越细节，综合程度越低，回答查询种类越多，数据量大，性能低 数据粒度 数据分割 分割 将数据分散到各自的物理单元中去，以便能分别独立处理，灵活地访问数据，提高效率 实际需要 分析往往对某种相关性的数据集合进行 某一时段的数据 某一地区的数据 某特定业务领域的数据 某一时段某特定业务领域的数据 日期往往是自然而均匀的分割 数据分割 健康保险 人寿保险 意外伤亡保险 1988 分片1 分片2 分片3 1989 分片4 分片5 分片6 1990 分片7 分片8 分片9 信息集成 信息集成的定义 information integration 把存储在两个或多个信息源中的数据提取出来，建立一个包含所有这些信息源的信息的大数据库（该数据库可以是虚拟的） 信息集成的方式 联邦数据库(federal database) 数据仓库(data warehouse) 协调器(mediator) 信息集成中的问题 汽车公司有1000位代理商，想创建一个集成数据库，各个代理商使用不同的数据库模式 代理商1：Cars(serialNo, model, color, autotrans,