最新机器学习导论.pptVIP

贝叶斯概率 贝叶斯观点：贝叶斯概率本质上是一种信念 贝叶斯概率是否是纯个人（主观）的？ 概率的操作规则是否是纯个人（主观）的？ 概率的值（定量化）是否是纯个人（主观）的？ * bjhk 贝叶斯概率：概率操作规则的客观性？ 假设信念是可定量的，且具有一组简单的、符合common sense的属性，则可以证明操作（计算）信念的规则是唯一的，且等价于概率论的“和规则”和“积规则”[Cox1946]。 类似证明:Good1950,Savage1961,Lindley1982和Dupre2009等 * bjhk 贝叶斯概率：概率操作规则的客观性？ 现代版本的“公理”（Dupre2009）： 1 偏序可交换代数 2 线性： 3 条件偏序性 。。。 * bjhk 贝叶斯概率：概率操作规则的客观性？ 问题：这类证明是否可以说明信念（贝叶斯概率）的操作规则具有客观性？ 反例：Dempster-Shafer证据理论 * bjhk 贝叶斯概率：概率值的客观性？ 主观贝叶斯主义和客观（逻辑）贝叶斯主义 客观贝叶斯主义的努力 重参数化不变性和不变先验 Jeffreys非信息不变先验 * bjhk 贝叶斯概率：概率值的客观性？ 技术困难：Improper先验？ 哲学困难：非信息先验之外的先验状态是否有客观性？ * bjhk 统计推断：频率主义 最大似然估计：基于给定样本，构造似然函数，以似然函数最大值所对应的参数值作为推断结果 问题：似然函数和概率分布的区别？ * bjhk 统计推断：频率主义 例子： * bjhk 统计推断：频率主义 * bjhk 统计推断：频率主义 推断过程的3个重要性质：无偏性、一致性和有效性 * bjhk 统计推断：贝叶斯主义 贝叶斯公式： 贝叶斯定理： 问题：贝叶斯公式和贝叶斯定理的区别？ * bjhk 统计推断：贝叶斯主义 贝叶斯推断：后验概率 似然性×先验概率 即MAP（Maximum A Posterior估计） 三个概念：后验概率、似然性和先验概率 思考题：你对于贝叶斯概率和贝叶斯推断的观点？ * bjhk 重新考察曲线回归（频率主义） 问题形式化 (1.1) * bjhk 重新考察曲线回归（频率主义） * bjhk 重新考察曲线回归（频率主义） 求解wML使上式获得极值，则问题的解等价于最小化 可进一步确定方差的最大似然估计： 由wML和βML可确定产生特定目标值t的概率 * bjhk 重新考察曲线回归（贝叶斯主义） w的先验: (1.2) ɑ：决定了分布方差，是超参数 M：多项式的阶数 由贝叶斯定理： (1.3) 注：由于β的先验并未给出，以上形式化中β实际是给定的参数 问题1：如何由贝叶斯定理导出上式？ 问题2：若β也需由数据来推断，应如何构造贝叶斯模型？ * bjhk 重新考察曲线回归（贝叶斯主义） 将(1.1)和(1.2)代入(1.3)，所得结果的最大值等价于最小化： 上式等价于特殊形式的岭回归误差（p12）： 问题：说明如何理解这种等价性？ * bjhk 预测新目标值 给定一个新的x值，如何推断对应的t？ 方法1：利用ML或MAP推断出的w*，直接计算t 方法2：所谓的“全贝叶斯处理” * bjhk 预测新目标值 对于本问题，全贝叶斯处理有闭形式解： 这里： ?i(x)=xi * bjhk hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl hjkh l;kl 机器