数据挖掘技术与其在生物信息学中的应用综述.pdfVIP

数据挖掘技术与其在生物信息学中的应用综述 姜浩娜 杨芬 刘晓 摘要：本文提纲挈领的阐述了数据挖掘技术及研究热点，并重点阐述了数据挖掘技术在生物信息 学中的应用。 关键字：知识发现 数据挖掘 OLAP 引言 无论是商业企业、科研机构或者政府部门，在过去若干年的时间里都积累了海量的、以不同形式 存储的数据资料。但当面对越来越多迅速膨胀的超级数据库时，人们却无从着手去理解数据中包 含的信息，更难以获得有价值的知识！原有的决策支持系统（DSS）和领导执行系统（EIS）已不 能满足需要。数据挖掘概念的提出，使人们有能力克服这些困难，去发掘出蕴藏在数据中的信息 和知识。本文总结了目前学术界和工业界的认识和观点，并进行了比较和总结。本文还就与数据 挖掘有关的挖掘过程、数据挖掘在生物信息学中的应用等方面阐述了自己的观点。 1. 数据挖掘的概念 本文从探寻知识发现（Knowledge Discovery in Database）和数据挖掘的关系入手理解数据挖 掘。数据挖掘与知识发现是存在交叉的两个概念。对这两个概念之间的关系，流行有两种观点： 一种观点认为：数据挖掘与知识发现是等同的概念，只不过在不同的领域叫法不同而已。在科研 领域，知识发现使用较多，在工程应用领域多称之为数据挖掘。另一种观点认为数据挖掘是知识 发现的一个阶段，而且是核心阶段。该观点给出的定义是：知识发现，就是从大型数据库中的数 据中提取人们感兴趣的知识。这些知识是隐含的、事先未知的、潜在有用的信息。本文更倾向于 第二种观点。本文从知识产生的过程这一角度看待知识发现和数据挖掘，得出以下结论： （1）知识发现是把低级别的数据转化为高级别数据的整个过程。所谓高级别数据，是具有特殊 含义的数据。在工程应用中，根据不同的使用阶段和价值，又细分为信息和知识。信息可被理解 为有特殊意义的数据；知识则表达为在特定应用领域，通过使用有价值的信息而在人脑中形成的、 具有概括和总结特性的认识。知识可表示为概念（concepts），规则（rules），规律（regulations）， 模式（patterns）等形式。从知识发现的整个过程来看（图1），数据挖掘是知识发现实现从数据 到信息和知识转变的关键一步。数据挖掘是从大量数据中提取可信的、新颖的、有效的模式的高 级处理过程。 2）如果把知识发现理解为一个过程或系统，数据挖掘是这一过程或系统的一个可自动执行的工 具。挖掘算法是数据挖掘重要的组成部分。为解决特定的商业问题，一种或多种算法需要被选择、 编译，在适于挖掘的数据环境下实施挖掘任务。从图 1 看出，知识发现是需要人工参与的多环节 的过程。除以上谈到的知识发现与数据挖掘的区别外，澄清存在于 OLAP 和数据挖掘之间认识上 的混淆会有助于对数据挖掘的理解：Gartner Group 等组织把 OLAP 视为数据挖掘的一部分。数据 挖掘包含数据描述和数据建模。OLAP 系统可以提供数据仓库中数据的一般描述。但更多的认识把 OLAP 和数据挖掘当作互不相交的两部分。OLAP是数据汇总/聚集工具，它帮助简化数据分析。OLAP 的功能基本上是用户参与的汇总和比较（上钻、下钻、旋转、切片、和其他操作）；数据挖掘自 动发现隐藏在大量数据中的模式等有价值的知识。图 2 从数据、信息和知识的角度形象地描述出 OLAP 和数据挖掘的逻辑关系。 另一点，OLAP 大多是限于数据仓库中的数据。数据挖掘既可以分析现存的、比数据仓库提供的汇 总数据粒度更细的数据，也可以分析事务的、文本的、空间的和多媒体数据。 2. 数据挖掘分类和挖掘步骤 2.1. 数据挖掘分类 数据挖掘涉及的学科领域和方法很多，有人工智能、数据统计、可视化、并行计算等。数据挖掘 有多种分类方法。 2.1.1. 根据挖掘任务 可分为分类模型发现、聚类、关联规则发现、序列分析、偏差分析、数据可视化等。 （1） 分类（Classification） 其旨在生成一个分类函数或分类模型，该模型能把数据库中的数据项映射到给定类别中的某一 个。既可以用此模型分析已有的数据，也可以用它来预测未来的