基于图的半监督学习笔记.docVIP

第一章 基于图的半监督学习 第一节 基本概念 1、 机器学习的分类 ⑴、监督： 训练样本＝已标记样本（Labeled，已标记数据） ⑵、无监督：训练样本＝未标记样本（Unlabeled，未标记数据） ⑶、半监督：训练样本＝已标记＋未标记（训练样本丢失部分信息） 2、训练集：  第二节 基于图的半监督学习 1、 思想：相似顶点尽可能赋予相同标记，以保证图的标记尽可能平滑 2、 基本概念 ⑴、定义：图 ⑵、解释：顶点集 ⑶、解释：边集 ⑷、解释：边的权重【表示顶点之间的相似度】 3、 基本概念 ⑴、定义：相似矩阵 ⑵、解释：， ⑶、解释：有边相连；无边相连 3、 典例：全连图（Fully Connected Graph） ⑴、定义：【高斯核/径向基函数核】 ⑵、解释：带宽系数【用于控制权值的减缓程度】 ⑶、解释：随着欧氏距离的增加而减少  第三节 重要算法 1、 标记传递算法：已标记数据近邻未标记数据次级近邻未标记数据 2、 最小割（MinCut） ⑴、概念：正例样本看作源（Source），反例样本看作汇（Sink） ⑵、思想：寻找具有最小权重和的边集，以切断从源到汇的所有连接 ⑶、公式： ⑷、解释：损失函数【已标记数据被错误标记的代价】 ⑸、解释：正则项【保证图的标记尽可能平滑】 ⑹、缺点：硬划分（Hard Classification，并未考虑样本的分类概率） ⑺、缺点：可能有多个解  3、 调和函数（Harmonic function） ⑴、定义：调和函数 ⑵、解释：已标记数据【与原始标记一致】，未标记数据【加权平均】 ⑶、公式： ⑷、解释：首先引入调和函数，然后将预测标记松弛到实数域，以保证存在唯一解 ⑸、解释：最后输出标记： 4、 图Laplacian矩阵 ⑴、定义： ⑵、解释：相似矩阵 ⑶、解释：对角矩阵，其中 ⑷、性质：假设： 那么： ⑸、证明：关键：非负对称矩阵  第四节 流形正则化 1、 SVM中的正则化思想 ⑴、目标函数： ⑵、解释： ⑶、解释：损失函数【典例：平方损失函数，Hinge损失函数】 ⑷、解释：Mercer核 ⑸、解释：再生核Hilbert空间【Reproducing Kernel Hilbert Space】 2、 流形正则化框架 ⑴、目标函数： ⑵、解释： ⑶、解释：含有已标记和未标记数据的正则项，以体现数据分布的内在结构 ⑷、典例：  3、 两种损失函数 ⑴、平方损失函数（Laplacian正则化最小二乘法） 目标函数： ⑵、Hinge损失函数（Laplacian SVM） 目标函数：