深度转移度量学习.pptxVIP

深度转移度量学习计算机科学与技术学院 汪奕俊 基本内容一、背景二、基本思想三、计算与优化四、实验度量学习度量学习是机器学习的一个重要分支，通过有标记样本或集合未标记样本，寻找一个能够在给定指标下最恰当刻画样本相似度的距离函数。以前为了处理各种各样的特征相似度，在特定的任务通过选择合适的特征并手动构建距离函数。然而这种方法会需要很大的人工投入，也可能对数据的改变非常不鲁棒。度量学习可以根据不同的任务来自主学习出针对某个特定任务的度量距离函数。度量学习线性距离度量学习低维线性空间学习方法非线性距离度量学习高维的非线性空间(流形学习)度量学习图像分类人脸识别应用视觉分析人类活动识别度量学习度量学习的缺点：a、通常寻求单一线性距离变换样本为一个线性特征空间，使样本的非线性关系不能得到很好的利用。即使核技巧可以解决非线性问题，这些方法仍然遭遇到伸缩性问题，因为它们不能得到明确的非线性映射功能。b、大多数认为训练和测试样本采集于同环境这样它们同分布。这种假设在许多视觉识别应用是不存在的，尤其样本采集于不同数据集。深度学习CNNDBN常见模型SAE深度学习图像分类常见应用人脸识别目标检测深度学习深度学习用于度量学习：堆栈独立子空间分析的非线性度量学习方法深度度量学习方法，它采用了传统的神经网络，在网络的顶层执行一个边缘标准虽然这些方法取得了相当不错的性能，他们假设的训练和测试样本被采集在相同的环境中，这并不总是满意在许多实际应用中。迁移学习基于实例基于特征方法基于参数基于关系迁移学习迁移学习技术有：支持向量机的域转移、转移降维、转移度量学习通过利用线性映射或内核技巧，它们大多数只考虑源域和目标域之间最小化分布差异。这是不足够有效的知识转移，如果分布差异大、转移函数通常不明确。DTML的提出面对度量学习、深度学习、迁移学习的不足，我们因此提出了深度转移度量学习，它很好的解决以上学习情况的缺陷。DTML的基本思想对于从源域和目标域的训练集的每个样本中，我们把它传递深度转移度量网络。我们对所有训练样本的输出执行两种约束：1）类间变化最大化、类内变化最小化2）源域和在网络的顶层目标域之间的分布差异最小化深度度量学习…………x……深度神经网络深度度量学习通过构建了一个深度神经网络对非线性变换的多层次计算每个样本x，使用这样的网络映射X的主要优点是可以显式地获得的非线性映射函数。假设有M+1层网络和m层有 个单元(m=1,2…M)，在m层输出x表示为:其中 假设 第一层 ：深度度量学习对于每一对样本 ，在最终的m层表示为它们之间的距离的度量可以用欧式距离的平方来表示：对于所有的训练样本的顶层输出，制定一个强监督深度度量方法为：其中 是一个自由参数平衡类内紧密度和类间可分性， 是 一个可调的正则化参数。深度度量学习类内距离 和类间距离 定义如下: 设定为 是 的 类内近邻，否则为零；而 设定为 是的 类内近邻，否则为零。深度转移度量学习给定的目标域数据 和源域数据 ，其概率分布通常是在原始特征空间不同，他们来自不同的数据集。为了减少分布的差异，使源域和目标域的概率分布尽可能接近在变换后的空间。为了实现这一目标，我们将最大平均差（MMD）标准来衡量在m层的分布差异，其定义如下：这样，DTML的优化问题定义如下：其中 为正则化参数深度转移度量学习我们采用梯度下降法来求解这个优化问题，关于目标函数分别对 和 求偏导，计算如下： 深度转移度量学习其中：深度转移度量学习这里：m=1,2,….M-1利用梯度下降法，我们更新 和 直至收敛 深度监督转移度量学习在DTML定义的目标函数只考虑训练样本的监督信息在顶层网络的情况，而忽视了输出的判别信息的隐藏层。为了解决这个问题，我们进一步提出了一个深度监督转移度量学习（DSTML）更好地利用各层输出判别信息的方法。我们制定了以下的优化问题：其中：是DTML应用于第m层的目标函数深度监督转移度量学习其中 是正项阈值，用来衡量 在学习过程中的重要性 ，如果 小于阈值 ，目标函数将不存在第二项 ， 起平衡顶层和m个隐藏层的作用。对于目标函数对参数 和 在顶层的计算如下:对于其它层m=1,2,…M-1,其计算如下：深度监督转移度量学习对于 ，我们有：这里在x=0,，其余深度监督转移度量学习对于 ，更新方程计算如下：深度监督转移度量学习实验：人脸识别源数据：从所收集的图像中提取的图像子集目标数据