机器学习研究生特色课程.ppt

增强学习 对于这种控制决策问题，设计一个回报函数（reward function），如果learning agent在决定一步后，获得了较好的结果，那么我们给agent一些回报（比如回报函数结果为正），得到较差的结果，那么回报函数为负。 比如，四足机器人，如果他向前走了一步（接近目标），那么回报函数为正，后退为负。如果我们能够对每一步进行评价，得到相应的回报函数，那么只需要找到一条回报值最大的路径（每步的回报之和最大），就认为是最佳的路径。 多实例学习 半监督学习(比如药物设计方面的应用)。 Ranking学习 需求是事物排序的学习(搜索引擎)。 数据流学习 大量数据快速过滤(有害信息过滤)。 主成分分析PCA PCA是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高维数据投影到较低维空间。 PCA function [U,V] = PCA(X, dim) [U,S,V] = svd(X); U = U(:,1:dim); S = S(1:dim,1:dim); V = V(:,1:dim); V = V*S; SVD Singular value decomposition. [U,S,V] = SVD(X) produces a diagonal matrix S, of the same dimension as X and with nonnegative diagonal elements in decreasing order, and unitary matrices U and V so that X = U*S*V. 独立成分分析ICA： 一种利用统计原理进行计算的方法。它是一个线性变换。这个变换把数据或信号分离成统计独立的非高斯的信号源的线性组合。独立成分分析是盲信号分离（blind source separation (BSS)）的一种特例。 聚类分析 将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。它是一种重要的人类行为。聚类分析的目标就是在相似的基础上收集数据来分类。 Kmeans k-means 算法 接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。 K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。 假设要把样本集分为c个类别，算法描述如下： 　　（1）适当选择c个类的初始中心； 　　（2）在第k次迭代中，对任意一个样本，求其到c个中心的距离，将该样本归到距离最短的中心所在的类； 　　（3）利用均值等方法更新该类的中心值； 　　（4）对于所有的c个聚类中心，如果利用（2） （3）的迭代法更新后，值保持不变，则迭代结束， 否则继续迭代。该算法的最大优势在于简洁和快速。 算法的关键在于初始中心的选择和距离公式。 [IDX,C,sumd,D] = kmeans(X,k) Description IDX: an n-by-1 vector IDX containing the cluster indices of each point. By default, kmeans uses squared Euclidean distances. C: the k cluster centroid locations in the k-by-p matrix C. sumd: the within-cluster sums of point-to-centroid distances in the 1-by-k vector sumd. D: distances from each point to every centroid in the n-by-k matrix D. 覆盖算法 覆盖算法是在FP算法的基础上发展起来的构造性算法，1995年张铃教授提出的多层反馈神经网络的FP算法和综合算法，就是最初的构造性学习方法，主要针对BP等算法中网络性能差的缺陷，构造吸引中心具有最大吸引域的神经网络构造性算法，包括前馈网络的FP算法和多层反馈网络的FP算法。详见第三章。 集成学习 集成学习(Ensemble Learning)是当前机器学习中主要的热点研究方向之一。它的根本思路是对同一问题使用一系