非监督学习方法,人工神经网络.ppt

模式识别 非监督学习方法 单峰子集的分离方法 思想：把特征空间分为若干个区域，在每个区域上混合概率密度函数是单峰的，每个单峰区域对应一个类。 一维空间中的单峰分离: 对样本集KN={xi}应用直方图方法估计概率密度函数，找到概率密度函数的峰以及峰之间的谷底，以谷底为阈值对数据进行分割。 一维空间中的单峰子集分离 投影方法算法步骤 计算样本y协方差矩阵的最大特征值对应的特征向量u，把样本数据投影到u上，得到v=uTy 用直方图法求边缘概率密度函数p(v) 找到边缘概率密度函数的各个谷点，在这些谷点上作垂直于u的超平面把数据划分成几个子集 如果没有谷点，则用下一个最大的特征值代替 对所得到的各个子集进行同样的过程，直至每个子集都是单峰为止 单峰子集分离的迭代算法 迭代算法步骤 对数据集进行初始划分：K1, K2, …,Kc 用Parzon方法估计各聚类的概率密度函数 按照最大似然概率逐个对样本xk进行分类 若没有数据点发生类别迁移变化，则停止。否则转2 类别分离的间接方法 迭代的动态聚类算法1. C-均值算法 2. ISODATA算法 3. 基于样本和核的相似性度量算法 非迭代的分级聚类算法1. 最近距离 2. 最远距离 3. 均值距离 C-均值算法 C-均值算法 初始化：选择c个代表点p1, p2, …,pc。 建立c个空聚类列表： K1, K2, …,Kc。 按照最小距离法则逐个对样本x进行分类。 计算J及用各聚类列表计算聚类均值，并用来作为各聚类新的代表点（更新代表点）。 若J不变或代表点未发生变化，则停止。否则转2。 基于样本和核的相似性度量 样本x与聚类Ki间相似性度量: 聚类的表示： 样本集Ki ={xj(i)} 用一个所谓的“核函数”Ki，如样本集的某种统计量 正态核函数的聚类算法 正态核函数，适用于各类为正态分布 近邻函数准则算法 近邻函数：样本间相似性的度量如果yi是yj的第I个近邻， yj是yi的第K个近邻 aij = I + K ? 2 , i≠j 近邻函数使得密度相近的点容易聚成一类 同一类中的点之间存在“连接”，连接损失就定义为两点之间的近邻函数aij 一个点和其自身的连接损失aii=2N，以避免只有一个点的聚类 不同类的点不存在连接，连接损失aii=0 总类内损失： 近邻函数准则 分级聚类方法 划分序列：N个样本自底向上逐步合并： 每个样本自成一类（划分水平1） K水平划分的进行：计算已有的c=N-K+2个类的类间距离矩阵D(K-1)=[dij](K-1)，其最小元素记作d(K-1)，相应的两个类合并成一类 重复第2步，直至形成包含所有样本的类（划分水平C） 划分处于K水平时，类数c=N-K+1，类间距离矩阵D(K)=[dij](K)，其最小元素记作d(K) 如果d(K) 阈值dT，则说明此水平上的聚类是适宜的 分级聚类树表示方法 两聚类间的距离度量 聚类Ki与Kj间的距离度量 聚类中的问题 非监督模式识别问题存在更大的不确定性: 可利用信息少 相似性度量一般对数据尺度较敏感 影响聚类结果的因素：样本的分布，样本数量，聚类准则，相似性度量，预分类数等 针对不同数据，不同目标选择不同的聚类算法 动态聚类算法计算效率高，实际应用多 人工神经网络模式识别与人工智能所研究的是如何用计算机实现人脑的一些功能。一方面，从要实现的功能出发，我们可以将功能分解成子功能，直至设计出算法来实现这些功能。这是自顶向下的设计方法。另一方面，人脑无论多么复杂，都可以看作是由大量神经元组成的巨大的神经网络。从神经元的基本功能出发，逐步从简单到复杂组成各种神经网络，研究它所能实现的功能，是自底向上的综合方法。 神经元 生物神经网络 神经元： 神经元经突触传递信号给其他神经元（胞体或树突） 神经元基本工作机制： 状态：兴奋与抑制 互联，激励，处理，阈值 常用输出函数 阈值函数： Sigmoid函数 神经网络的学习方法 神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练 学习方式： 监督学习 非监督学习 学习规则： 误差纠正学习算法 竞争学习算法 误差纠正学习 梯度下降法： 竞争学习 输出神经元之间有侧向抑制性连接，较强单元获胜并抑制其他单元，独处激活状态。 前馈神经网络及其主要方法 前馈神经网络：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。 前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出联结。 可见层：输入层和输出层 隐层：中间层 感知器 感知器：双层网络，通过监督学习建立模式识别能力。感知器目标输出的编码方法： 感知器学习算法 感知器学习算法： 多层感知器的一致逼近性 单个阈值神经元可以实现任意多输入的与、或及与