机器学习 —— 概率图模型(学习：最大似然估计).docVIP

最大似然估计的目标是获取模型中的参数。前提是模型已经是半成品，万事俱备只欠参数。此外，对样本要求独立同分布（参数就一套） 　　上图中x ~ B(theta). 样本数为M. 　　最大似然估计用似然函数作为优化目标，参数估计的过程为寻优过程。一般情况下认为，如果该参数使得数据发生的可能性最大，则该参数为最可能的一组参数。数学表达为下图： 1、充分统计 　　充分统计是从样本映射到某个向量的一个公式。这个公式必须满足甲样本映射结果的和，必须与乙样本映射结果的和相同。而且这个必须成立，与总体分布的参数无关。例子：样本均值，样本方差。? 　　这种求和一致性如果设计合理的情况下， 可以直接导出参数的 表达式 　　比如在投硬币的统计模型中，T与H各自的数目就是充分统计量 　　又比如在估计骰子的bias的统计模型中，我们只在乎各个数字出现的次数，而不在乎顺序。此时的充分统计量为骰子的数字 　　在高斯模型中，可做以下分解： 　　 　　如果观测到x不同的值，则可断定，1，x,x^2，是充分统计量。 2、参数的极大似然估计 　　在充分统计的条件下，参数的极大似然估计有着优雅的解析解。 3、贝叶斯网络中的极大似然估计 3.1、独立参数的贝叶斯网络 　　在极大似然估计的观点中，参数是随机变量，其有着自己的模型。如果考虑一个概率图模型，那么在对参数进行估计时就必须考虑随机变量之间的交互关系。一个简单的未知参