数据挖掘与最优化结合的理论方法体系与问题求解模型.pdfVIP

数据挖掘与最优化结合的理论方法体系与问题求解模型* 何增友 徐晓飞 邓胜春 (哈尔滨工业大学计算机学院 哈尔滨 150001) 摘 要：数据挖掘的最终目标是决策者根据挖掘得到的分析结果，优化商业决策和行为，从 而增加企业的效益。然而，传统的通用的数据挖掘技术只是提供了一套数据挖掘应用的方法， 对于本质的领域知识表示和同数据挖掘过程的集成，挖掘结果的解释、部署等很少涉及，所 以缺乏一定的商业决策和行为的优化能力。因此，本文提出一个基于数据挖掘与最优化结合、 支持最终决策分析的管理问题求解模型，目标是有效的各种将数据挖掘技术与最优化方法在 实际应用中有机的结合起来，并为复杂的管理决策分析问题的求解和决策实施提供一个切实 可行的参考模型。以客户关系管理中的客户群分析问题为例，应用提出的模型，设计并实现 了客户群分析决策系统，从而优化客户行为。 关键字：数据挖掘，最优化，决策支持 分类号：TP311 文献标志符：A 1. 引言 数据挖掘，也称知识发现，被描述为从数据中抽取出隐含的、具有潜在用途的、人类 可理解的模式。数据挖掘通过发现有用的新规律和新概念，提高了数据拥有者对大量原始 数据的深层次理解、认识和应用，解决了“数据丰富，知识贫乏”的问题。数据挖掘可以 辅助人们进行科学的分析和决策。数据挖掘技术来自于实际应用，并产生了许多通用技术、 方法、算法，它的最终落脚点仍然是实际应用。 数据挖掘是多学科交叉的产物，结合了数据库、数据仓库、人工智能、统计学、机器 学习、数据可视化等技术。其他有贡献的学科有神经网络，模式识别，空间数据库，图像 数据库，信号处理等技术。数据挖掘汇集了众多学科的技术和方法，为应用提供高效且实 用的数据分析手段。 数据挖掘可以应用在许多方面。数据挖掘技术的潜在应用是十分广泛的，从政府管理决 策、商业经营、科学研究和工业企业决策支持等各个领域都可以找到数据挖掘技术的用武之 地。 然而，数据挖掘的最终目标是决策者根据挖掘得到的分析结果，优化商业决策和行为， 从而增加企业的效益。遗憾的是，在实际应用中，传统的通用的数据挖掘技术只是提供了一 套数据挖掘应用的方法，对于本质的领域知识表示和同数据挖掘过程的集成，挖掘结果的解 释、部署等很少涉及，所以缺乏一定的商业决策和行为的优化能力，这实际上限制了数据挖 * 基金项目：国家 863 计划项目(No. 2003AA4Z2170, No. 2003AA413021) ，IBM SUR 项目 Email: zengyouhe@. - 1 - 掘的大量应用。而这类有着明确的商业目标，同时需要根据数据挖掘的结果进行决策结果在 商业应用中的优化部署的问题，正是适合用最优化技术进行解决的。基于此，将最优化方法 和数据挖掘技术相结合，二者互为补充，互为利用，则可提供有效的解决方案。 最优化方法在数据挖掘中的应用效果体现在以下几个方面： （1）直接将核心的数据挖掘问题定义为一个最优化问题，通过最优化方法进行解决， 从而提高算法的精度。例如，支持向量机就是用最优化方法解决分类问题的一个典型例子； 此外，直接将一个数据挖掘问题定义为一个最优化问题，往往还会提供全新的解决思路和方 案。 （2 ）在复杂的数据挖掘问题中，利用最优化方法解决其中的一个子问题，从而达到全 局优化。典型的例子包括数据的预处理以及规则的后处理。 （3 ）直接将复杂的数据挖掘问题定义为一个复杂的最优化问题，通过遗传算法等技术 进行求取近似解。在这方面，“客户分割”和“营销策略部署”结合为一个复杂的最优化问 题是一个很好的例子； （4 ）通过最优化方法选择数据挖掘模型。针对同一个数据挖掘问题，可以同时建立多 个不同模型。通过最优化技术，将其中较佳的模型选出，作为最终的模型。 相应的，数据挖掘在最优化技术中的应用效果体现在以下几个方面[6]： （1） 通过数据挖掘技术找到优化的目标； （2 ） 通过数据挖掘技术确定最优化问题的参数； （3 ） 通过数据挖掘