北航系研究生课程 机器学习 课件 张兆翔.pdfVIP

机器学习 第十讲 张兆翔 课程回顾 基本采样法(Basic Sampling)   思想：从基本概率分布产生新变量的分布  Uniform distribution:  Gaussian distribution: 拒绝采样(Reject Sampling)  假设：对一个很复杂的 进行采样。不能给出具体的 解析形式，但是每个 可以估算其比例。 已知 未知  用 去逼近 拒绝采样(Reject Sampling)  1. 从 产生 被拒绝的概率  2. 从 均匀分布 中产生  3.                        拒绝； 否则接收作为采样 自适应拒绝采样(Adaptive Reject Sampling)  在实际场合中， 很难获得。  特别是 为log凸函数时，可采用ARS  如果满足，接收  如果拒绝，重新逼近 重要性采样(Importance Sampling)  同样借助于一个易于采样的 注：很多情况下不能够准确知道 ，而只能知道比例 重要性采样(Importance Sampling) 注：很多情况下不能够准确知道 ，而只能知道比例 重要性采样(Importance Sampling) 重要性重采样(Sampling‐Importance‐Resampling)  回顾拒绝采样  第一步、根据 产生  第二步、根据 产生  最后，从 中按照 的概率产生新的L个样本 蒙特卡洛采样 啥是蒙特卡洛？  蒙特卡罗（Monte Carlo ）是世界著名的 赌城，是摩纳哥的标志。富丽堂皇的蒙地 卡罗赌场，建于一八六三年，是一幢古 色古香以及巍峨的宫殿式建筑物，再加上 山明水秀，使游客抵达门前，立即发生好 感。门前有一大片广场，是一个花圃，一 草一木都修剪整齐，鲜花盛放，七彩缤 纷，园旁有一停车场，园尽处一间宫殿式 的建筑便是闻名世界的蒙地卡罗赌场了。 登台阶入门，站着警卫把守。照摩纳哥法律，本国人不准入内赌博， 观光客自然欢迎，然后凭护照交十法朗便成为［一日］的［会员］， 凭此证才能进入赌场。场内气派堂皇，墙上的装饰与帷幕，加上白天 也亮的钻石般闪烁的水晶灯，满铺的红地毯烘托着，穿着整齐礼服的 侍者，气氛上是不同凡响。内有适合歌剧表演的大舞台，再过一道门 进入一间大厅，便是著名的赌场了。 蒙特卡洛采样法 注：不能够准确知道 ，而只能知道比例  首先产生一个采样点 ；  根据建议概率 产生新的采样点；  依次类推，产生马尔可夫链 ；  要求 尽可能简单，便于产生采样点；  有一