创我科技数据挖掘讲义研讨.ppt

 议程 数据挖掘基础 创我数据挖掘产品 客户保持应用系统 DM is like setting up a restaurant kitchen... 什么是数据挖掘？ 什么是数据挖掘？ 数据挖掘的商业思路 集团公司对数据挖掘的期望 客户价值评估和细分模型简介 客户流失倾向预警模型简介 交叉销售模型简介 竞争对手分析模型简介 营销方案效果预测模型简介 价格敏感度模型简介 数据挖掘模型应用项目启动的原则 数据挖掘的方法论 数据挖掘过程中应注意的问题 议程 数据挖掘基础 创我数据挖掘产品 客户保持应用系统 创我数据挖掘产品 SmartMiner构成及特点 系统模块功能 产品定位（1） 工作模式 SmartMiner采用C/S结构，客户端作为控制前台，不断的向服务端发送和接受指定，数据操作和运算都在服务端进行，服务器端通过UNIXODBC的方式访问数据仓库主机，客户端不保留挖掘数据，所有的数据存储在服务器端； 产品定位（2） 平台支持 服务器端支持UNIX与WINDOWS两大平台，MEM 2G, 2 CPU； UNIX平台包括 IBM AIX、SUN SOLARIS、HP UNIX； WINDOWS平台包括 WINNT、WIN2000； 客户端支持WINDOWS平台，包括WIN95/WIN98/WINNT/WIN2000,PIII以上CPU， 256M MEM； 产品定位（3） 支持的数据类型 支持远程文本文件与数据库访问两种数据类型，其中文本文件包括带分隔符的文件以及定长文本文件两种； 数据库支持目前流行的DB2、ORACLE、INFORMIX、TERADATA数据库，所有的数据库访问形式采用ODBC的方式进行，提高软件的通用化程度； 产品定位（4） 全面支持数据挖掘过程 完善的数据预处理功能 多种证实可行的数据挖掘算法 可以嵌入SAS及其他工具的模型代码 面向不同层次的用户 系统结构（1） 系统体系架构 系统结构（2） 应用架构 系统结构（3） 工作环境 系统结构（4） 数据存储MAP 系统结构（5） 软件功能划分 数据流图（1） 顶层数据流图 数据流图（2） 数据准备流图 数据流图（3） 建模处理流图 数据流图（4） 评估处理数据流图 创我数据挖掘产品 SmartMiner构成及特点 系统模块功能 数据准备（1） 采样 简单随机采样 等距采样 起始顺序采样 末尾顺序采样 分层采样 数据准备（2） 数据清洗转换 变量变换：运用数学公式生成新变量 过滤异常：去除稀有值，区间变量的极值， 值替换：数据替换节点可以填充区间变量和分类 变量的丢失值。 数据准备（3） 区间变量极值处理包括 中值绝对偏差（MAD）----除去大于中值绝对偏差n倍的数值。 离均值的标准方差----除去和均值的距离大于标准方差的n倍的那些数值； 极值百分比----除去距离上限和下限百分之p的数值 数据准备（4） 数据探索 了解数据是否达到原来设想的要求；其中有没有什么明显的规律和趋势；有没有出现所从未设想过的数据状态；因素之间有什么相关性；它们可区分成怎样一些类别，这些对于建立合适的数据挖掘模型非常重要，SmartMiner支持图表的方式浏览及分析数据 建模过程（1） 数据建模过程把经过处理后的用于建模的源数据数据为输入，选择建模输入变量，寻找最优的变量组合，消减冗余相关的输入变量，选择用于构建模型的算法，根据需要客户可以设置各种算法的参数，然后系统根据客户制定的挖掘任务进行数据运算，从中找出规律创建模型，反复这个过程直到发现较为满意的模型 建模过程（2） 按照不同应用选择模型大类 响应模型 客户分群 交叉销售 序列预测 建模过程（3） 选择算法及调整算法参数 选择建模任务运行模式 快速运行 中等程度运行 复杂运行 多种算法运行，自动评估识别不同算 法生成模型的优劣 模型评估（1） 评估过程 模型评分是数据挖掘建模的一个校验与应用过程，通过数据评分，得出之前所创建模型的好与坏，并选择好的模型加以应用 。 模型评估（2） 支持对当前建模导航生成的模型进行评估； 支持对SmartMiner历史保存的模型进行评估； 支持对SAS等通用工具生成的C代码模型进行评估应用； 议程 数据挖掘基础 创我数据挖掘产品 客户保持应用系统 保持最有价值的客户 中国移动和中国联通这两大移动运营商在争夺移动用户群的激烈的市场竞争中，中国移动更多地表现为“守势”市场，而中国联通则表现为“攻势”市场。在这种背景下，“客户保持”（Customer Retention）策略