第2章 概率论与机器学习模型原理_第6节-Sigmoid函数与Logistic模型.pdfVIP

六、Sigmoid函数与Logistic模型

6.1Sigmoid函数的定义与导数学

6.1.1什么是Sigmoid函数？数

修

6.1.2⼏何与直观理解必

习

6.1.3为什么使⽤Sigmoid？（机器学习视⻆）学

器

6.1.4导数公式机

-

壮

6.1.5导数的⼏何意义大

s

o

c

6.1.6Python可视化与验证

6.1.7在逻辑回归中的作⽤

6.1.8⼩结

6.2与Logistic回归的概率解释

6.2.1问题背景：分类问题的概率建模

6.2.2为什么是概率模型？

6.2.3最⼤似然估计（MLE）推导全过程

6.2.4⼏何解释：Sigmoid决策边界

6.2.5梯度计算（⽤于优化）

6.2.6Python实例：逻辑回归+可视化

6.2.7⼩结

6.3如何从指数族看待模型参数推断学

6.3.1为什么引⼊“指数族”视⻆？数

6.3.2什么是指数族分布？修

必

6.3.3Bernoulli分布是指数族分布习

学

器

6.3.4逻辑回归的由来（建模⾃然参数为线性函数）

机

-

6.3.5Log-likelihood与最⼤熵的统⼀视⻆

壮

大

s

6.3.6概率视⻆下的正则化

o

c

6.3.7代码对⽐：逻辑回归vs最⼤熵模型

6.3.8总结

6.4应⽤：最⼤熵模型、Softmax、LDA主题模型

6.4.1最⼤熵模型：从逻辑回归出发的通⽤建模框架

6.4.2Softmax回归：最⼤熵模型的多分类扩展

6.4.3最⼤熵模型与LDA主题模型的联系

6.4.4神经⽹络中的最⼤熵思想

6.4.5总结

六、Sigmoid函数与Logistic模型