信息存储与检索第7章.ppt

第七章 人工智能与自然语言检索 本章目录 第一节 引言 人工智能技术在信息检索领域的应用，使其检索系统的智能化水平得到了显著提高。以自然语言理解技术为基础的信息检索系统将把信息检索从目前基于关键词层面提高到基于知识层面，对知识有一定的理解与处理能力。 第二节 人工智能技术 7.2.1 专家系统 （一）专家系统的特征 （1）具备某个应用领域的专家级知识； （2）能模拟专家的思维； （3）能达到专家级的解题水平。 7.2.1 专家系统 （二）专家系统的工作原理 专家系统的工作方式可简单地归结为：运用知识，进行推理。专家系统的组成部分包括知识库、推理机、知识获取、人机接口、数据库和解释机构。 7.2.2 数据挖掘 （一）数据挖掘的含义与标准 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 目前，数据挖掘的标准化包括以下三个标准：CRISP-DM；PMML；OLE DB For DM。 7.2.2 数据挖掘 （二）数据挖掘的功能 自动预测趋势和行为。 关联分析。 聚类。 概念描述 偏差检测 7.2.2 数据挖掘 （三）数据挖掘的主要技术 决策树法，输出结果容易理解，实用效果好，影响也较大。 神经网络法，更适合用于非线性数据和含噪声的数据，在市场数据分析和建模方面有广泛的应用。 遗传算法，适合于聚类分析，它简单而且优化的效果好。 统计分析方法是利用统计学、概率论的原理对数据库中的信息进行统计分析，从而找出它们之间的关系和规律。 7.2.2 数据挖掘 粗集方法，适合于不精确、不确定、不完全的信息分类和知识获取。 可视化方法，是一种辅助方法，它用比较直观的图形图表方式来表现挖掘出来的模式，大大拓宽了数据的表达和理解力，使用户更加了解挖掘出的数据。 7.2.3 知识发现 （一）知识发现的定义 知识发现是从大量数据集中辨识出有效的、新颖的、潜在有用的、并可被理解的模式的高级处理过程。 7.2.3 知识发现 （二）知识发现的过程 知识发现过程可以归纳为三个步骤：数据准备、数据挖掘、结果解释和评价。 7.2.3 知识发现 （三）知识发现平台 SPSS为用户提供揭示客户关系、预测客户行为的解决方案，并把客户关系管理和商业智能有机的结合在一起，建立与客户之间的互动关系。 Intelligent Miner具有典型数据集自动生成、关联发现、序列规律发现、概念性分类和可视化显示等功能。 Clementine提供了一个可视化的快速建立模型的环境。它由数据获取、探查、整理、建模和报告等部分组成。 7.2.3 知识发现 MSMiner是一种多策略知识发现平台，能够提供快捷有效的数据挖掘解决方案，提供多种知识发现方法。 SAS Enterprise Miner通过收集分析各种统计资料和客户购买模式，帮助企业发现业务的趋势，解释已知的事实，预测未来的结果，并识别出完成任务所需的关键因素，以实现增加收人、降低成本的目标。 7.2.4 信息抽取与知识抽取 （一）信息抽取 信息抽取是从一段文本中抽取信息，并将其形成结构化、规范化的数据 。 信息抽取和信息检索有本质的区别：信息检索的目的是根用户的查询请求从文档库中找出相关的文档，用户必须从找到的文档中提取自己所要的信息；而信息抽取直接从文档中取出相关信息点，不需要用户对文档做进一步分析。这两种技术是互补的，若结合起来可以为文本处理提供强大的工具。 7.2.4 信息抽取与知识抽取 （二）信息抽取技术的评测指标 抽全率可粗略地看成是测量正确抽取的信息比例，而抽准率用来测量抽出的信息中有多少是正确的。计算公式如下： R=抽出的正确信息点数/所有正确的信息点数 P=抽出的正确信息点数/所有抽出的信息点数 7.2.4 信息抽取与知识抽取 （三）知识抽取 知识抽取是从现有的信息（尤其是非结构化的文本）中抽取结构化的、上下文依赖的知识的过程。 知识抽取起源于传统信息抽取而又有别于信息抽取：传统的信息抽取并不试图从内容上全面地、深层次地理解文档，而知识抽取则建立在信息抽取的基础之上，使用了语义网技术，从知识表示和推理的角度来实现知识的自动(半自动)抽取。 第三节 智能检索 7.3.1 智能检索接口 智能检索接口用于完成智能检索系统的信息输入输出工作，它是系统和用户交流的界面，它能理解、分析用户的自然语言提问，并产生适合用户的结果，还具有解释功能，对自己的行为做出解释。 智能检索接口能向用户提供友好的界面，完成各种交互活动；检验用户输入和系统输出的正确性、一致性；控制程序流程，对用户输入作出快速反应或者控制其它设备正确有效地工作