分类技术在很多领域都有应用5.pdf

分类技术在很多领域都有应用，例如可以通过客户分类构造一个 分类模型来对银行贷款进行风险评估；当前的市场营销中很重要的一 个特点是强调客户细分。客户类别分析的功能也在于此，采用数据挖 掘中的分类技术，可以将客户分成不同的类别，比如呼叫中心设计时 可以分为：呼叫频繁的客户、偶然大量呼叫的客户、稳定呼叫的客户、 其他，帮助呼叫中心寻找出这些不同种类客户之间的特征，这样的分 类模型可以让用户了解不同行为类别客户的分布特征；其他分类应用 如文献检索和搜索引擎中的自动文本分类技术；安全领域有基于分类 技术的入侵检测等等。机器学习、专家系统、统计学和神经网络等领 域的研究人员已经提出了许多具体的分类预测方法。下面对分类流程 作个简要描述： 训练：训练集——特征选取——训练——分类器 分类：新样本——特征选取——分类——判决 最初的数据挖掘分类应用大多都是在这些方法及基于内存基础 上所构造的算法。目前数据挖掘方法都要求具有基于外存以处理大规 模数据集合能力且具有可扩展能力。下面对几种主要的分类方法做个 简要介绍： 一、神经网络 神经网络是解决分类问题的一种行之有效的方法。神经网络是一 组连接输入/输出单元的系统，每个连接都与一个权值相对应，在将 简单的单元连接成较复杂的系统后，通过并行运算实现其功能，其中 系统的知识存储于网络结构和各单元之间的连接权中。在学习阶段， 通过调整神经网络的权值，达到对输入样本的正确分类。神经网络有 对噪声数据的高承受能力和对未经训练数据的模式分类能力。神经网 络概括性强、分类精度高，可以实现有监督和无监督的分类任务，所 以神经网络在分类中应用非常广泛。 在结构上，可以把一个神经网络划分为输入层、输出层和隐含层 （见图 4）。网络的每一个输入节点对应样本一个特征，而输出层节 点数可以等于类别数，也可以只有一个，（输入层的每个节点对应一 个个的预测变量。输出层的节点对应目标变量，可有多个）。在输入 层和输出层之间是隐含层（对神经网络使用者来说不可见），隐含层 的层数和每层节点的个数决定了神经网络的复杂度。 除了输入层的节点，神经网络的每个节点都与很多它前面的节 点（称为此节点的输入节点）连接在一起，每个连接对应一个权重 Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积 的和作为一个函数的输入而得到，我们把这个函数称为活动函数或挤 压函数。如图 5 中节点 4 输出到节点 6 的值可通过如下计算得到： W14*节点 1 的值+W24*节点 2 的值 神经网络的每个节点都可表示成预测变量（节点 1，2）的值或 值的组合（节点 3-6）。注意节点 6 的值已经不再是节点 1、2 的线 性组合，因为数据在隐含层中传递时使用了活动函数。实际上如果没 有活动函数的话，神经元网络就等价于一个线性回归函数，如果此活 动函数是某种特定的非线性函数，那神经网络又等价于逻辑回归。 调整节点间连接的权重就是在建立 （也称训练）神经网络时要做 的工作。最早的也是最基本的权重调整方法是错误回馈法，现在较新 的有变化坡度法、类牛顿法、Levenberg-Marquardt 法、和遗传算法 等。无论采用那种训练方法，都需要有一些参数来控制训练的过程， 如防止训练过度和控制训练的速度。 决定神经网络拓扑结构（或体系结构）的是隐含层及其所含节 点的个数，以及节点之间的连接方式。要从头开始设计一个神经网络， 必须要决定隐含层和节点的数目，活动函数的形式，以及对权重做那 些限制等，当然如果采用成熟软件工具的话，他会帮你决定这些事情。 在诸多类型的神经网络中，最常用的是前向传播式神经网络，也就是 我们前面图示中所描绘的那种。我们下面详细讨论一下，为讨论方便 假定只含有一层隐含节点。 可以认为错误回馈式训练法是变化坡度法的简化，其过程如下： 前向传播：数据从输入到输出的过程是一个从前向后的传播过 程，后一节点的值通过它前面相连的节点传过来，然后把值按照各个 连接权重的大小加权输入活动函数再得到新的值，进一步传播到下一 个节点。 回馈：当节点的输出值与我们预期的值不同，也就是发生错误时， 神经网络就要 “学