【模式识别与人工智能】12-第二章-第二节-对数几率回归-学习策略.pptxVIP

第二章对数几率回归-学习策略汇报人：刘宝伟模式识别与人工智能授课教师：栾声扬

极大似然估计1对数似然代价函数2CONTENTS

PART01极大似然估计

2.2.1极大似然估计极大似然估计方法极大似然估计方法（MaximumLikelihoodEstimation，MLE）也称为最大概似估计或最大似然估计，是一种根据样本来估计未知参数的方法，它是由德国数学家C.F.Gauss于1822年提出。1922年，英国遗传学家与统计学家R.A.Fisher再次提出了这一思想，并最先探讨了最大似然法的一些重要性质。

2.2.1极大似然估计极大似然原理极大似然原理的直观想法是，一个随机试验如果有若干个可能的结果，，若在一次实验中，结果出现了，那么可以认为试验条件对的出现有利，也即出现的概率较大。比如，假设甲箱中有99个白球，1个黑球；乙箱中有1个白球，99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。

2.2.1极大似然估计似然函数设总体的概率函数或密度函数为，是从该总体抽取的简单随机样本，对于给定的样本观测值，称