机器学习中的贝叶斯进阶.pdf

Bayes theory Content • Bayes Review • Conjugate Prior • Difficulty In Bayes • Bayes Network Bayes Review • 抛掷硬币三次，结果为正面，正面，正面 • 频率学派：P(Biased coin)=1 n • 贝叶斯学派： 先验分布： 似然函数： 后验分布： n 那么当样本数 时呢？ Bayes Review Why we use Bayes in machine learing ： 《machine learing》 [Mitchell] Bayes Review 《machine learing》 [Mitchell] Conjugate prior • In Bayesian probability theory, if the posterior distributions p( θ|x) are in the same family as the prior probability distribution p( θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function. Conjugate prior • 似然是二项分布，先验是贝塔分布，则后 验也是贝塔分布 • 似然是泊松、正态、指数分布，先验是 Gama分布，则后验也是Gama分布 • 似然是正态分布，先验正态分布，则后验 也是正态分布 • 似然是多项分布，先验Dirichlet分布，则后 验也是Dirichlet分布 Conjugate prior • Beta分布： () 1 1 Beta(, ) x (1x) ()() 正面概率p先验分布为Beta( α， β 抛掷硬币得10次正面，5次反面 Beta( 20, 20) 则其后验分布为Beta( α+10，β +5 Conjugate prior • 似然是二项分布，先验是Beta分布（这里设α= β =1），后验也是Beta分布 p ~Beta(, ) 1 1 p (1p) P(p) B(, ) Difficulty In Bayes 《machine learing》 [Mitchell] Difficulty In Bayes Difficulty In Bayes • one common criticism of the Bayesian approach is that the prior di