基于Clementine的数据挖掘模型评估.docVIP

基于Clementine的数据挖掘模型评估 　　摘要：本文采用Clementine数据挖掘工具生成了某商业银行的客户响应具体模型，并评估了所生成的模型。通过分析报告和评估图的方式，最终比较了决策表、神经网络和决策树C5.0算法预测的效果。 　　关键词：数据挖掘；Clementine；模型评估；C5.0 　　中图分类号：TP311.13 　　目前，银行的数据库和数据仓库中都收集和存储了大量有关客户的宝贵数据，它们涵盖了从客户基本资料、购买记录以及客户反馈等多个环节。利用这些数据，进一步分析、挖掘出大量隐藏在其中的有用信息，可以帮助银行更好地做到客户关系管理，实现CRM的功能和目标。 　　在分析当前客户关系管理中数据挖掘的应用的基础上，以某商业银行的CRM系统开发为背景，建立客户响应预测模型，生成商业银行的客户响应具体模型，分析维度表中的相关变量对目标变量(客户是否响应)的影响。最终对所生成的模型进行评估，比较不同算法预测的效果。 　　1Clementine软件 　　Clementine（IBM SPSS Modeler）最早属英国ISL（Integral Solutions Limited）公司的产品，后被SPSS公司收购。2009年，SPSS被IBM公式收购。自2000年以来，KDnuggets公司面向全球开展“最近12个月你使用的数据挖掘工具”的跟踪调查，Clementine一直列居首位。 　　Clementine具有分类、预测、聚类、关联分析等数据挖掘的全部分析方法。这些分析方法经过组合，或单独使用，可用于研究客户响应问题。其CRISP-DM标准能够帮助用户规范数据挖掘的整个过程。Clementine的操作与数据分析的一般流程相吻合。Clementine形象地将各个环节表示成若干个节点，将数据分析过程看作是数据在各个节点之间的流动，并通过图形化的“数据流”方式，直观表示整个数据挖掘。操作使用Clementine的目标：建立数据流，即根据数据挖掘的实际需要，选择节点，依次连接节点建立数据流，不断修改和调整流中节点的参数，执行数据流，最终完成相应的数据挖掘任务。 　　Clementine软件是按照CRISP-DM标准过程来进行项目管理的。一共包括6个部分：Business Understanding(商业理解)、Data Understanding(数据理解)、Data Preparation(数据准备)、Modeling(建模)、Evaluation(模型评估)和Deployment(结果部署)。为了方便管理，整个项目开发的过程中，在每个阶段生成的结果，例如模型、数据、报告等，都可以存储到相应的阶段中。 　　Clementine软件支持非常多的数据挖掘分析算法和建模，其中包括了C5.0、Apriori、CR Tree、神经网络、Logistic等算法。通过使用Clementine软件，能够使整个分析过程更得直观、简单。 　　另外，Clementine软件对其它功能的支持包括： 　　（1）数据源：这个内容包含了对数据源的支持，能够支持多种格式的数据文件，如ACCESS数据库、SQL SERVER数据库、EXCEL文件、SPSS文件、SAS文件等。 　　（2）记录选项：此项用来处理数据记录，包括：抽样、平衡、合并、选择、排序、汇总、区分、追加等功能。 　　（3）字段选项：此项用来处理属性字段，包括：字段类型定义、字段空值填充、字段过滤、新字段生成、重分类等功能。 　　（4）图形选项：其中包括Histogram(柱状图)、Evaluation(评估图)、Distribution(分类图)、Plot(聚类图)等分析图形。 　　（5）输出选项：其中包括Excel文件、报告、表格、数据库等结果输出方式。 　　2建立模型 　　以某商业银行为例，该银行举办一系列金融产品的促销活动，不同阶层的客户对此活动的响应可能不同，比如性别、年龄、家庭和收入等因素会对此类产品的购买力产生不同程度的影响。通过选择神经网络、决策表和C5.0算法三种方法来建立预测模型，预测各因素对此类促销活动的响应程度。银行希望通过为每个客户提供最合适的报价，以在未来的商业竞争中取得更大的收益。 　　该商业银行客户响应预测模型的数据流中，包括若干包含每位客户的相关人口统计和金融信息的字段，这些字段可用于构建或“训练”依据特定特征针对不同组预测响应率的模型。 　　通过Clementine挖掘软件，根据在决策列表节点中指定的设置运行默认的挖掘任务。尝试使用不同的建模方法，从菜单中选择相应的操作，完成替代模型的创建。通过将一项挖掘任务的结果反馈给另一项挖掘任务，这些最新模型将同时包含高响应率段和低响应率段。 　　3模型评估 　　模