数据挖掘与知识发现(讲稿1---概述).docVIP

第1章 概述 随着信息社会和知识经济时代的来临，信息正以前所未有的速度膨胀。面对浩如烟海的信息资源，人类的自然智能越来越显得难于驾驭。如何用人造的智能去模仿和扩展人类的自然智能，实现信息的智能化处理，是信息社会和知识经济所面临的一个重大课题。 人工智能作为一门研究机器（计算机）智能的学科，其目的是要用人工的方法和技术，研制智能机器或智能系统，来模仿、延伸和拓展人的智能。因此，人工智能是人类迈向信息、迎接知识经济挑战所必须具备的一项核心技术。难怪有人把人工智能同原子能技术、空间技术一起称为20世纪的三大尖端科技成就。但人工智能系统较率低，不能应用于实际。 随着计算机、Internet的普及，以及数据库（DB）技术的迅速发展和数据库管理系统（DBMS）的广泛应用，导致许多领域积累了海量数据（如，从普通的超市业务数据、信用卡记录数据、电话呼叫清单、政府统计数据到不太普通的天体图像、分子数据库和医疗记录等）。现有的DB技术大多可高效地实现数据查询、统计和维护等管理功能，但却无法发现数据中存在的关联和规则，无法根据现有的数据预测未来的发展趋势。数据库中存在着大量数据，却缺乏从这些数据中自动、高效地获取知识的手段，出现了“数据丰富，知识贫乏”的现象。此外，在数据操纵方面：信息的提取及其相关处理技术却远远落后。为此，针对庞大的数据库及其中的海量数据信息源，仅依靠传统的数据检索机制和统计分析方法已远不能满足需要。 需求是发展之母，数据管理系统（DBMS）和人工智能中机器学习两种技术的发展和结合，促成了在数据库中发现知识这一新技术的诞生，即基于数据库知识发现（Knowledge Discovery in Database,KDD）及其核心技术---数据挖掘产生并迅速发展起来。它的出现为自动和智能地把海量数据转化成有用的信息和知识提供了手段。 1.1 知识 知识不仅是人工智能领域中研究的重要对象，而且也是知识工程与知识发现处理的重要对象。什么是知识？（到目前为止，知识还没有统一的严格的形式化定义） 知识是人们在改造客观世界的实践中积累起来的认识和经验，是一切智能行为的基础。广义地说，知识是人们通过学习、发现或感悟到的对世界的认识总和，是人类认识的结晶。狭义地说，知识是一种有组织的经验、价值观、相关信息和洞察力的组合。 ☆与知识相关联的两个概念是数据和信息 所谓数据是指人们为了描述客观世界中的具体事物而引入的一些数字、字符、文字等符号或符号的组合。如，“建国50岁”中的“建国”、“50岁”都是数据。 所谓信息是指不同的有用数据组成的一种结构。如“建国80岁”，就是一条信息。 ☆数据、信息和知识间的关系是： 数据是信息的载体和表示； 信息是数据在特定场合下的含义，或者说信息是数据的语义。如“建国80岁”。但相同的数据在不同的场合会有不同的含义。 信息仅是对客观事物的一般性描述，它还不是知识。只有经过对其进行加工、整理、解释、挑选和改造，形成对客观世界规律性认识后才能称为知识。可见，知识是对信息进行智能性加工所形成的对客观世界规律性的认识。 （如，水，在标准大气压下，加热到100度就会沸腾） 实现对信息的加工过程，实际上也是一种把信息关联在一起的过程。因此，也可把有关信息关联在一起所形成的信息结构称为知识。从这种意义上讲，“信息”与“关联”是构成知识的两个要素。 信息之间关联的形式很多，其中最常用的一种形式为： 如果…… 则…… （IF…… THEN……） 如，“如果他学过人工智能课程，则他应该知道什么叫知识”。 1.2 什么是知识工程？ 知识工程的概念出现于1977年至今也没有严格的定义但人们普遍认为知识工程是以知识为处理对象借用工程化的思想人工智能的原理、方法技术设计、构造和维护知识型系统的一门学科是人工智能的一个应用分支知识工程的目的是在研究知识的基础上发智能系统知识工程的核心则是专家系统知识的获取、知识的表示、知识的运用便构成知识工程的三大要素知识工程的研究内容要包括基础理论研究、实用技术的开发、知识型系统工具研究和智能机等相关课题的研究其中基础理论研究包括知识的本质、知识的表示、推理、获取和学习方法等实用技术主要研究解决建立知识系统过程中遇到的问题包括实用知识表示方法、实用知识获取技术、实用知识推理方法、知识库结构系统、知识系统体系结构、知识库管理技术、知识型系统的调试与评估技术、实用解释技术、实用接口技术等知识型系统工具主要是为了给系统的开发提供良好的环境工具以提高系统研制的质量和缩短系统研制周期等知识工程系统特点知识工程系统能解决专家水平的问题系统能快速的进行假设和搜索解答系统能做出具有专家水平的解答系统具有大量的基础知识和通用的问题求解能力系统应能选择问题的恰当表示方式其中的知识型系统是一个