数据挖掘介绍.docVIP

关键词 DM(Data Mining)，DW（Data Warehouse）,OLAP，BI 数据库已经成为收集和分布信息的系统的基础。数据采集目的在于根据数据库内容进行正确决策。这些数据深层隐藏的是统计学或测量方法。数据仓库将报告数据从运行系统中隔离出来。通过将查询工作移动到更有效率的系统，这种隔离能够提高运行系统的性能。可以提高安全性。敏感信息将保存在不会暴露给查询的运行数据库中。由数据仓库提供的提取级别简化了对决策支持应用程序生成的统计表的访问。数据仓库的基本单位是立方体，它是来自现有数据源的集成信息储备库。OLAP技术主要通过多维的方式来对数据进行分析、查询和生成报表，它不同于传统的OLTP处理应用。OLTP应用主要是用来完成用户的事务处理，如民航订票系统和银行的储蓄系统等，通常要进行大量的更新操作，同时对响应的时间要求比较高。而OLAP系统的应用主要是对用户当前的及历史数据进行分析，扶助领导决策，其典型的应拥有对银行信用卡风险的分析与预测和公司市场营销策略的制定等，主要是进行大量的查询操作，对时间的要求不太严格。behavior 客户行为分析 Market basket analysis Retailing 零售业 Market Segmentation Creadit scoring 信用等级 Fraud detection Taxpayer noncompliance Churn prediction E-business Web-mining 使用“数据挖掘”的其它应用 Stock Market trends 股市趋势走向研究 Textual and Multimedia analysis 文本及多媒体分析 Sports Scouting Medical outcomes analysis Scientific Web surfing behavior 上网行为方式研究 数据挖掘的任务 预测模型（例如“预测”） 描述模型（例如“分类分析”） 模式及相关的规则 预测模型 在“训练数据集”上建立的由“事例”组成的一个模型 这个模型随后将使用一个“检测数据集”来验证此模型是否可用及易用程度。 每个“事例”又是由两部分组成： “输入变量”（输入的数据，“独立”的变量） “目标变量”（例如“响应”，“输出”） “输出变量”的类型 监督分类 线性回归 “存活度”分析（随着时间存活度分析） 连贯性输出 卫生保健输出（医疗开支） 连续性管理（一个ATM机中剩余的金额或者一个分行金库中的余额） 商业退货管理（货物从购买到退货之间的时间差） 目标市场（Target Marketing） 事例：比如“客户”，“住房” 输入：地理信息系统，金融系统 目标：对一个请求的响应 操作：目标定位一个在未来的竞争中可以快速响应的客户部分 CRM 事例：当前存在的客户 输入：购买历史记录，货物/服务使用记录，统计数据 目标：调整品牌，取消，发现缺点 操作：客户忠诚度提升 Credit Scoring信用等级评估 事例：过去的申请者 输入：应用程序生成的资讯，信用报告 目标：收费，信用不良记录，收回信用 操作：接受或拒绝未来的信用申请者 在数据挖掘时处理数据时可能遇到的困难 数据错误 不正确的数值 不相关的数据 丢失数据 只使用那些数据完整的记录集来分析 使用合理的数值填充到丢失数据的位置 不完整的数据 用于数据挖掘的主要软件 SAS的Enterprise Miner SPSS的Clementine IBM的 Intelligent Miner 近百个其它的第三方处理包 MS Analysis Service 浅析 目前市场上常见的OLAP软件 OLAP Servers:Hyperion Essbase (version 4.0.1 or higher)Microsoft Analysis Services SQL 2000 (service pack 1 orhigher, service pack 3 recommended)IBM DB2 OLAP Server (version 5 or higher)ShowCase AS/400 OLAP Server (version 3.5 or higher) MS Analysis Service包含联机分析处理 (OLAP) 和数据挖掘