最大熵分类器.PDFVIP

最大熵分类器 什么是分类器 • 将待分类实体归于某一类 • 比如句子情感分类，手写体识别，国籍分类 句子情感分类 • 对给定句子，分类器给出句子在所有类别上的概率分布 句子 情感分类 正向概率 负向概率 发动机比较平顺 正向 方向盘又大又重 负向 计算概率 = （ · ） • 示某个实体分类的概率分布 • 用 （）进行概率化（函数） • 是模型参数（矩阵） • 某个特定实体的特征（向量） • · 表示矩阵乘法 = （ · ） • ( , , … , , … , , ) • ∑ = 1 • 有n种类别 • 表示该实体是第i种类别的概率 = （ · ） • （） 进行概率化 • 令Y = · ， • 这里的以理解为分类器对实体在每个类别上的打分，非概率。 • 维度和同 • = ∑ 对于二分类来说若Y （a，b ），则 , ) = （ · ） • 实体的特征，通过特征进行分类 • 已知 • 表示成向量形式，为了计算方便 如何从实体中获得特征向量 一共有三步 • 使用特征模板（可能有多个）抽取训练集中所有实体的特征 • 去除重复的特征，形成训练特征表 • 所有实体的特征都根据训练集特征表进行向量化 特征模板和特征抽取（获得的第一步） • 任务：国籍分类 • 任务：句子情感分类 • 实体：我 • 实体：方向盘|又|大|又|重 特征模板 特征 特征模板 特征 语言 语言=汉语；语言=英语 Unigram Uni=方向盘； Uni=又；Uni=大； 发色 发色=黑色 Uni=又；Uni=重 瞳色 瞳色=黑色 用训练集做出特征表（获得的第二步） 训练集里所有实体： 这个|方向盘|又|大|又|重 发动机|比较|平顺 训练集特征表（不重不漏）： { Uni=这个，Uni=方向盘，Uni=又， Uni=大，Uni=重，Uni=发动机， Uni= 比较，Uni=平顺} 特征向量化（获得的最后一步） • 实体１：这个|方向盘|又|大|又|重 • 实体２：发动机|比较|平顺 • 实体３：发动机|又|大|又|重 实体 Uni=这个 Uni=方向 Uni=又 Uni=大 Uni=重 Uni=发动 Uni= 比较 Uni=平顺 盘