特征数据挖掘：基于系统特征数据的系统化信息处理.docVIP

特征数据挖掘：基于系统特征数据的系统化信息处理 ——一种以数据为基础，知识获取为核心的复杂系统研究方案 谷云东 （北京师范大学管理学院系统科学系） 一、引言 数据挖掘（Data Mining），或更广泛地讲数据库中的知识发现（Knowledge Discovery in Databases—KDD），是目前智能科学与信息技术研究最活跃的分支之一[1-4]。1989年8月，在美国底特律召开的第11届国际人工智能联合会议上提出了“在数据库中的发现知识（KDD）”这一概念[1]。1995年，美国计算机学会（ACM）会议提出数据挖掘（Data Mining）概念作为知识发现的关键步骤[2]。数据挖掘形象地把大型数据库看成是蕴含丰富信息的矿藏。通过有效地应用知识发现技术，可以从数据矿藏中挖掘或开采出潜在有用的信息。数据挖掘概念一经提出便迅速引起公司企业的商务管理人员，人工智能、统计学、数据库系统等领域专家以及与各软件公司科研管理人员等信息产业界人士的普遍关注[2]。目前，数据挖掘已经形成较为系统的理论和方法体系，并在包括商业、金融、保险、医疗、化工、制造以及系统工程等领域在内的多个行业得到了成功的应用[2]。有专家认为，数据挖掘是继电子计算机技术和网络技术之后的又一个技术热点，必将会对人类社会产生深远影响[2]。本文在简要回顾数据挖掘的概念、过程和各阶段工作量基础上，介绍了特征数据挖掘的思想框架，并从信息获取和复杂系统研究的角度进行分析，指出特征数据挖掘为复杂系统的研究提供了一种以数据为基础，信息和知识获取为核心，具有系统工程特点的复杂系统研究方案。 数据挖掘概念、过程及各阶段工作量 数据挖掘（Data Mining）（KDD）[1][2]，例如“信息发现（Information Discovery）”、“信息抽取（Information Extraction）”、“信息收获（Information Harvesting）”、“数据库中知识挖掘（Knowledge Mining form Database）”、“智能或探索式数据分析（Intelligent or Exploratory Data Analysis）”以及“数据融合（Data integrating）”等等。相对来讲，数据挖掘主要流行于统计、数据分析以及数据库和管理信息系统等领域，而人工智能和机器学习等领域则更多地使用知识发现。 按照广义的理解，如图1所示，数据挖掘过程包含数据挖掘任务分析描述、挖掘数据准备、数据模式或知识的发现以及所发现模式或知识的表示、评估与应用等四个主要阶段。 图1 数据挖掘过程的四个阶段 文献[4]指出，大量的统计分析表明数据挖掘的四个阶段的工作量呈现如下的比例关系： 确定业务对象 数据准备 模式发现 模式评估与解释 图2 数据挖掘各阶段工作量比例 上述数据挖掘各阶段的工作量一方面说明了 图4 特征数据挖掘的6个主要步骤和一个阶段 综上所述，从信息处理的角度分析，特征数据挖掘可以看作一个以系统特征为工具，特征状态的记录数据为主要信息载体，知识、模式或规则等结构化信息为主要信息表现形式，策略、行为和问题解决作为信息施用结果，围绕阶段性主题，以系列问题的解决为目标，人机结合和多层次综合集成为特点，系统的半自动化信息处理过程。 三、从复杂系统研究的角度看特征数据挖掘：一种具有系统工程特点的复杂系统研究方案 随着科学技术的发展，以生物信息系统、脑和神经系统、环境生态系统和计算机集成制造系统等为代表的复杂系统的研究越来越引起学者们的关注。但正是由于系统的复杂性给这类系统的研究带来了一系列的困难。例如，对于上述复杂系统，常用的机理分析和系统辨识等建模方法都很难有效地建立系统的数学模型。事实上，对于上述系统很难用一个或几个集总参数的方程来描述该系统的状态、结构、功能、行为或演化过程。在系统的各个局部、各个层次或侧面，系统往往表现出完全不同的面貌和规律，而且系统的不同局部、不同层次和不同侧面之间往往还存在各种各样复杂的相互关系。因此，若想借助个人的力量从某个特定角度出发获得对复杂系统的全面认识，常常难以避免“盲人摸象”般的尴尬，得到一些不符合实际的错误结论。另一方面，越来越多的实例显示，在复杂系统的研究中，把一个大的系统划分成若干个小系统或不同的局部，分别加以研究，然后利用综合集成方法形成对整个系统的完整认识的“还原论”研究方法通常难以奏效。因此，对于具有自适应、自组织、多变量、强耦合、大规模、多尺度等特征的复杂系统研究，我们必须采取一种“系统化”的有组织，有计划的“系统工程”式的研究方案。在这一过程中，我们必须充分发挥人类大脑的优势，并很好地使用计算机这一先进的信息处理工具。从这一角度分析，特征数据挖掘为我们提供了一种具有系统工程特点的，系统化的复杂