马尔可夫随机域的线性和并行学习资料.docVIP

马尔可夫随机域的线性和并行学习 1.介绍 马尔可夫随机场 (集控) 也称为无概率图模型、 是无处不在的结构有显著影响的概率模型一大批领域、 包括计算机视觉 (李,2001 年; ;; ;Szeliski et al., 2008 年)、 计算摄影和图形 (et al.加尔, 2004 年)、 计算神经科学(艾克利et al., 1985 年)、 生物信息学 (诺华 et al., 2007 年)、 传感器网络 (刘 伊勒尔, 2012年)、 社会开辟 (- 施特劳斯池田, 1990年)、 马尔科夫逻辑 (· 理查森与多明戈斯, 2006 年)、 自然语言处理 (拉弗蒂et al., 2001 年; ;; ;萨顿麦卡勒姆, 2012 年) 和统计物理 (Kindermann Snell, 1980年)。正如指出 在温赖特和Jordan(2008年) 也有很多应用程序在统计中、 约束满足与组合优化、 纠错码和流行病学。不出意料、 这许多的综合治疗手段重要的话题似乎在过去的四年 (Kindermann- 斯内尔, 1980 年; ; ;劳里岑, 1996 年; ;; ;布雷莫, 2001 年;科勒和弗里德曼, 2009 年; ;; ;墨菲, 2012 年).尽管巨大的成功，这些模型拟合的影响他们的数据仍然是一个艰巨的挑战。虽然对数似然是通常凸的参数，这些模型的梯度是棘手的。在许多情况下，在这些模式中的最大似然是数据高效在渐变中的数据一词可以的的感觉可以轻松地预计算，使其评价期间琐碎优化。使用最大似然的主要困难就是不高效的模型因为评估梯度涉及到在模型计算的期望分布。这就要求指数评价与一笔许多条款，其中是的顽固性甚至适度中型的模型。确切的最大似然难治性已促使许多近似的介绍参数估计的方法 (Besag, 1975年; 辛顿, 2000 年; ;Hyv¨arinen, 2005 年; ;马林 et al., 2010 年; ;瓦兰 et al.,2011 年; ;马林和德弗雷塔斯, 2011 年; ;斯沃 et al., 2011 年).一类重要的这一问题的近似解法近似的随机逼近方法从分布模型，利用样本模型术语通常通过 mcmc 方法。这种模拟是昂贵的和许多样品往往需要准确的估计。此外，在设置位置的参数或数据必须被分布到许多机器这种仿真造成更多困难。另一种方法是对近似极大似然目的构造的替代方案。领先在这一领域的方法是伪的可能性。在这种方法磁流变液中的所有变量的联合分布被取代按条件分布为每个产品变量。替换产品的联合分布条件句的消除模型期限从渐变拟似然目标，绕过最大似然估计模型效率低下。然而，伪似然不是高效的因为数据条件分布往往取决于实际的数据和参数的当前值。我们回到这个在一节中详细的问题2.3.采用伪似然在分布式环境中的也是很难，因为条件分布共享参数。几位研究者有解决这一问题建议 disjointly 近似的拟似然优化每个条件和参数相结合使用某种形式的平均 (Ravikumar et al., 2010 年;威塞尔与英雄三, 2012 年; ;刘 伊勒尔, 2012 年).在本文中，我们介绍一参数估计新方法在集控不附带条件的参数，避免了模型效率低下的一个重要的最大似然类模型，同时保留其数据的效率。此外，我们的算法是令人尴尬的平行可以在未经修改的分布式环境中实现。我们的算法取代联合最大似然问题与很多规模较小的辅助的最多的集合能独立解决的可能性问题。我们证明，如果辅助问题满足一定的条件，中的辅助问题的相关参数收敛到关节中的真实参数值模型。我们的实验结果表明良好的性能在这种情况下取得和那良好的性能仍然是当不满足这些条件实现。违反牺牲理论收敛条件换取，甚至进一步计算的储蓄同时实证性能良好。下一个较强的假设，我们证明我们的算法是全面联合分布的正好等于最大可能性。虽然不直接适用，提供了这一结果额外洞察为什么我们的方法是有效的。最近，和独立，介绍一类似的方法在下高斯的图形化模型由孟 et al.(2013年)。在那张纸，作者认为本地居民区的节点，而我们认为邻里派系，他们依靠凸松弛通过Schur 补从中他们逆的算法协方差估计。在修订这时间纸，同一批作者已经表明，收敛性对与它们的方法参数真值率是可比性以集中最大似然估计 （孟 et al.,2014).虽然我们的工作和孟 et al.到达分布通过不同的路径，而是他们的学习限于 (成对) 高斯图形模式，均它是能够利用图形结构的作品展示超越低树宽到设计算法数据和模型高效和展览好实证性能。 3。算法描述 圈算法操作通过分裂联合pa -参数估计问题分成几个独立的子任务并行可以解决的问题。一旦子-问题已经解决,它结合了解决方案每个子问题成完整的问题提出的解决方案 我们定义其1-neighbourhood固定小团体问