Clementine神经网络实例.pdf

一、利用神经网络对数据进行欺诈探测 利用clementine系统提供的数据来进行挖掘，背景是关于农业发展贷款的申请。每一条 记录描述的是某一个农场对某种具体贷款类型的申请。本例主要考虑两种贷款类型：土 地开发贷款和退耕贷款。本例使用虚构的数据来说明如何使用神经网络来检测偏离常态 的行为，重点为标识那些异常和需要更深一步调查的记录。更要解决的问题是找出那些 就农场类型和大小来说申请贷款过多的农场主。 1. 定义数据源 使用一个 “变相文件”节点连接到数据集grantfraudN.db。在 “变相文件”节点之后增 加一个 “类型”节点到数据流中，双击 “类型”节点，打开该节点，观察其数据字段构 成，如图1-1所示。 图 1-1 2.理解数据 在建模之前，需要了解数据中有哪些字段，这些字段如何分布，它们之间是否隐含着某 种相关性信息。只有了解这些信息后才能决定使用哪些字段，应用何种挖掘算法和算法 参数。这个过程就是一个理解数据的过程。 3.准备数据 为了更直观的观察数据，以便于分析哪些数据节点有用，哪些数据对建模没用，可以使 用探索性的图形节点进行分析，这有助于形成一些对建模有用的假设。 首先考虑数据中有可能存在欺诈的类型，有一种可能是一个农场多次申请贷款援助，对 于多次的情况，假设在数据集上每个农场主有一个唯一的标识符，那么计算出每个标示 符出现的次数是件容易的事。 3.1 在数据流中连接条形图节点并选择字段名为name 的字段，如图1-2所示。 图 1-2 3.2 选择name字段后，单击执行按钮，结果如图1-3所示。为了探索其他可能的欺诈形式， 可以先不考虑多次申请的情况。先关注那些只申请一次的记录。 图 1-3 3.3 在数据流区域中添加一个选择节点，把该节点连接到数据流中，该节点的目的是为了删 除相应的记录。双击该节点，对该节点的设置如图 1-4。模式选择丢弃单选按钮、条件 文本框中输入”name==’name618’orname==’name777’”。 图 1-4 3.4 以农场大小、主要作物类型、土壤质量等为自变量建立一个回归模型来估计一个农场的 收入是多少。在建模以前，还需要添加一个导出节点，以便使用clem语言来生成一个 新的字段，如图 1-5所示，图中的表达式farmsize*rainfall*landquality是用来估计农场 收入的。导出字段为estincome。 图 1-5 3.5 为了发现那些偏离估计值的农场，可以生成一个字段-difi，代表估计值与实际值偏离饿 百分数。在数据流中增加一个导出节点，如图1-6所示。 图 1-6 3.6.流中增加一个直方图节点，目的是希望能由diff 的直方图中帮助发现偏离饿特征。 双击直方图节点，将直方图按照claimtype进行层叠，设置情况如图 1-7。 3.7.设置完成之后，单击 “执行”按钮，显示如图1-7所示。 图 1-7 8.从图1-8可以看出，所以较大的偏差都发生在arable_dev类型的申请上。因此我们可 以只选择arable_dv类贷款申请作为研究对象。为此，选择一个选择节点添加到导出节 点diff 的后面，使用clem表达式claimtype== ‘arable_dev ‘来进行筛选，设置如图1-8 所示。 图 1-8 三、建模 经过数据准备阶段，发现将真实值和通过一系列因变量的期望值进行比较似乎是有用 的。神经网络也可以用来处理此类问题。神经网络使用数据中的变量，对目标变量或响 应进行预测。使用预测的结果，我们可以探索偏离正常值的记录或记录组。 3.1 将一个类型节点添加到数据流中，对数据集中数据进行设置。因为需要用数据集中的变 量来预测所申请的贷款金额，所以将claimtype 的方向设置为输出