KDD已经成为AI的研究热点.ppt

May 27,2005 浙江大学远程教育学院《人工智能》讲座 徐从富(Congfu Xu) PhD, Associate Professor Email: xucongfu@zju.edu.cn Institute of Artificial Intelligence, College of Computer Science, Zhejiang University, Hangzhou 310027, P.R. China December 4, 2006 提纲 知识表示 专家系统 人工神经网络 不确定性推理 机器学习 数据挖掘 AI的若干研究前沿 2.1 知识表示 3. 谓词公式的表达方法举例 实例1 试用谓词演算表示如下英文句子：“For every set x, there is a set y, such that the cardinality of y is greater than the cardinality of x.” 对应的谓词公式： (?x) {SET(x) ? (?y) (?u) (?v) [SET(y) ? CARD(y, u) ? CARD(x, v) ?G(u,v)]} 实例2 “世上决没有无缘无故的爱，也没有无缘无故的恨。” 对应的谓词公式： ??x[爱(x) ? ? ?y 缘故 (x, y)] ? ??t[恨(t) ? ? ?s 缘故 (t, s)] 关于专家系统的基本结构的说明 推理机、知识库：是专家系统中最核心部分 知识库管理：检查知识的内容是否有问题 知识获取：是知识工程的瓶颈 解释器：解释推理的结果及在推理过程中发生的一切 界面：是让专家系统“接近群众”的重要手段 网络接口：网上多个专家系统可构成分布式专家系统 2.3 人工神经网络 生理神经元的结构 人工神经网络的组成 人工神经网络的数学描述 典型的人工神经网络 BP网简介 【注】：关于人工神经网络的详细原理及应用可参见： Martin T. Hagan 等著, 戴葵 等译.《神经网络设计》, 机械工业出版社, 2002. 2.3.1 神经元的组成部分示意图 2.3.3 人工神经网络（ANN）的组成 人工神经网络（Artificial Neural Nets, ANN）：一种由模拟神经元组成的，以处理单元PE (processing element)为节点，用加权有向弧(链)相互连接而成的有向图。 处理单元：对生理神经元的模拟； 有向弧：轴突-突触-树突对的模拟，有向弧的权值表示两处理单元间相互作用的强弱。 ANN的组成示意图 常用的激发函数（作用函数） 上述f(·)称为激发函数（作用函数） 常用的激发函数 常见的ANN 感知器(Perceptron) 反向传播(BP)网 自适应共振(ART) 双向联想存储器(BAM) BSB模型，也称盒中脑模型 CPN(Counter Propagation Network)，也称对流网 Hopfield网 MadaLine 认知机(Neocognitron) …… 利用BP网解决XOR问题（续） 上部隐含层完成一个线性分类 输入模式(0, 0)为一类，输出0 (0, 1), (1, 0), (1, 1)为另一类，输出1 下部隐含层完成另一个线性分类 (0, 0), (0, 1), (1, 0) 为一类，输出0 (1, 1)为另一类，输出1 两个隐含神经元已对输入空间进行了初步划分，这种预处理实际上完成了对输入空间的特征抽象，从而为实现复杂的模式分类奠定了基础。 输出层基于隐含层的输出，完成最终的分类： (0, 0)和(1, 1)为一类，输出为0 (0, 1)和(1, 0)为一类，输出为1 2.5 机器学习 机器学习的定义 机器学习的地位和作用 机器学习的发展历程 机器学习中的五个挑战性问题 机器学习中的主要理论问题 机器学习的发展趋势 数据挖掘 vs. 知识发现 数据挖掘（Data Mining）：从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 知识发现（Knowledge Discovery in Database）：是用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后隐藏的知识，也称数据库中的知识发现。 THANKS FOR YOUR PRESENCE! HMM的形式化描述 N是可能的状态空间 M是给定的一个观测值空间 A称作时间无关状态转移概率分布 B 是在给定状态下观察值概率分布条件 π是在初始时刻状态空间的概率分布 模型λ＝(N, M, π, A, B) 用来描述HMM 其中，N, M, π, B,