产生式判别式.pptVIP

第一页，共二十二页，2022年，8月28日 内容提要 摘要 简介 产生式模型（Generative Model） 判别式模型（Discriminative Model ） 两者之间的关系 实验分析 第二页，共二十二页，2022年，8月28日 摘要 产生式模型：无穷样本==》概率密度模型 =＝》 产生模型==》预测 判别式模型：有限样本==》判别函数 = 预测模型==》预测 第三页，共二十二页，2022年，8月28日 简介 简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。 其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大。这种方法一般建立在bayes理论的基础之上。 第四页，共二十二页，2022年，8月28日 简介 如果对条件概率 P(q|o)建模，就是Discrminative模型。基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。代表性理论为统计学习理论。 这两种方法目前交叉较多。 第五页，共二十二页，2022年，8月28日 产生式模型 估计的是联合概率分布（joint probability distribution），p(class, context)=p(class|context)*p(context)。 ＝p(context|class)*p(class) 用于随机生成的观察值建模，特别是在给定某些隐藏参数情况下。 在机器学习中，用于直接对数据建模,或作为生成条件概率密度函数的中间步骤。通过使用贝叶斯规则可以从生成模型中得到条件分布。 第六页，共二十二页，2022年，8月28日 产生式模型 特点：主要是对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。 优点:由于产生式方法可以在联合分布空间插入变量、不变量、独立性、先验分布等关系的知识。因此，在联合分布空间，通用性（或称多面性）是其本质。这包括了系统中的未知的、观察到的、输入或输出变量，这就使得产生式概率分布成为一个非常灵活的建模工具。 第七页，共二十二页，2022年，8月28日 产生式模型 缺点 产生式分类器需产生的所有变量的联合概率 分布仅仅是分类任务的中间目标，对该中间目标优化的过程，牺牲了最终分类判别任务上的资源和性能，影响了最终的分类性能。 第八页，共二十二页，2022年，8月28日 产生式模型 常用方法 Gaussians, Naive Bayes, Mixtures of multinomialsMixtures of Gaussians, HMMsBayesian networksMarkov random fields 第九页，共二十二页，2022年，8月28日 判别式模型 又可以称为条件模型，或条件概率模型。估计的是条件概率分布(conditional distribution) 判别式方法并不对系统中变量和特征的基本分布建模，仅仅对输入到输出之间映射的最优化感兴趣。因此，仅需调整由此产生的分类边界，没有形成可对系统中变量建模的生成器的中间目标，可以得到准确率更高的分类器。 第十页，共二十二页，2022年，8月28日 判别式模型 主要特点：寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。 优点:相比纯概率方法或产生式模型，分类边界更灵活； 能清晰的分辨出多类或某一类与其他类之间的差异特征，适用于较多类别的识别判别模型的性能比产生模型要简单，比较容易学习 第十一页，共二十二页，2022年，8月28日 判别式模型 缺点： 不能反映训练数据本身的特性。可以告诉你的是1还是2，但没有办法把整个场景描述出来； 判别式方法在训练时需要考虑所有的数据元组，当数据量很大时，该方法的效率并不高； 缺乏灵活的建模工具和插入先验知识的方法。因此，判别式技术就像一个黑匣子，变量之间的关系不像在产生式模型中那样清晰可见。 第十二页，共二十二页，2022年，8月28日 判别式模型 常见的主要有：logistic regressionSVMsneural networksNearest neighborConditional random fields(CRF): 目前最新提出的热门模型，从NLP领域产生的，正在向ASR和CV上发展。 第十三页，共二十二页，2022年，8月28日 判别式模型 主要应用：Image and document classificationBiosequence analysisTime series prediction 第十四页，共二十二页，2022年，8月28日 两者之间的关系 由生成