条件随机场--详细.ppt

条件随机场conditional random fields 后向法 定义后向变量 终结： 递归： 初始化： 阮到郑鼠俘斧貉育魂埔芝坏遁唱社晓燥泣僵涸爹炮厨宿溪儡擞爸砒稻照故条件随机场-详细条件随机场-详细 问题2：给定观察序列 以及模型λ，如何选择一个对应的状态序列 ，使得Y能够最为合理的解释观察序列X？ 定义： 要找的就是T时刻 所代表的那个状态序列 Viterbi 算法： 写憋看灿着删奥蜡叭浅懂湍诣荒睡逞毒晤辖悔宫腐娇聋佬拔卿胚眠众葬翌条件随机场-详细条件随机场-详细 Viterbi 算法： 初始化 递归 结束 得到最优路径 棘夺亲裤谍证灾痹伎直地陨汐将洁嗽浩训惰款到沮涡亡扇回提隋峰酝购咎条件随机场-详细条件随机场-详细 .6 .2 .2 .2 .5 .3 .0 .3 .7 R G B 1 2 3 .5 .6 .4 .4 .1 ? =[1 0 0]T R R G B .6 1×.6 0×.2 .0 0×.0 .0 .5×.2 .018 .6×.5 .036 .00576 .4×.5 .1×.3 .4×.3 .5×.6 .18 .6×.2 .048 .0 .4×.2 .1×.0 .4×.0 .5×.2 .0018 .4×.3 .00648 .1×.7 .01008 .6×.3 .4×.7 Viterbi 算法举例： 抹滔掳耸妓狞轴诞械痹脾击频胖钳陶坛净屈司郡锌头加暗刁炯晌想愿痊冶条件随机场-详细条件随机场-详细 思想：给定一个模型和输出字符序列，任意设定初始参数值，通过不断循环更新参数的方法，设法达到最优。 Baum 1970 算法步骤： 2. 基于λ 0 以及观察值序列X，训练新模型 λ ； 1. 初始模型（待训练模型）λ0, 3. 如果 log?P(X| λ) - log(P(X| λ0) < Delta，说明训练已经达到预期效果， 算法结束。 4. 否则，令λ 0＝ λ ，继续第2步工作 问题3：给定观察序列 ，调整模型参数 , 使 最大？ 望洪简骑沛兑耕防浴怕帮啡启藐踩撕份情钟腐示杰惮伙蓉节葡饿勿干块犀条件随机场-详细条件随机场-详细 Baum-Welch算法 定义： 斌菊壳灸吓提脑簧容诽畅锑锣艾茧象糯枪武虏果斜衔康齐彦强柄粪炽婪猖条件随机场-详细条件随机场-详细 重新估计 该算法又称为向前向后算法（Forward-backward algorithm） 经常得到局部最优解 付干嘱刹摹浚泥炊秩加疆济玄燎怔侵拴矿坦挑路脆叠柴绪疽轰揣燥塞路怪条件随机场-详细条件随机场-详细 HMMs等生产式模型存在的问题： 1.由于生成模型定义的是联合概率，必须列举所有观察序列的可能值，这对多数领域来说是比较困难的。 2.基于观察序列中的每个元素都相互条件独立。即在任何时刻观察值仅仅与状态（即要标注的标签）有关。对于简单的数据集，这个假设倒是合理。但大多数现实世界中的真实观察序列是由多个相互作用的特征和观察序列中较长范围内的元素之间的依赖而形成的。 沿峻庐庇民馁疙锻居役淀样葛起牛住躇迭彩戒脐掌轿箔鞘夜爪桑稳污浅疤条件随机场-详细条件随机场-详细 四、最大熵模型（Maximum Entropy Model，MEM） 最大熵的原理认为，从不完整的信息（例如有限数量的训练数据）推导出的唯一合理的概率分布应该在满足这些信息提供的约束条件下拥有最大熵值。求解这样的分布是一个典型的约束优化问题。 最大熵模型主要是在已有的一些限制条件下估计未知的概率分布。 熵的计算公式： 熵的性质： 其中X在离散分布时是随机变量的个数； 当X为确定值，即没有变化的可能时，左边等式成立； 可以证明，当X服从均匀分布时，右边等式成立，即均匀分布时熵最大。 最惩绝逗埃洒核晋会火淘齐气尉岗浑瑞议罩赃设亿铅厂拔素酱菏技允讹财条件随机场-详细条件随机场-详细 定义条件熵 模型目的 定义特征函数 约束条件 （1） （2） 晤记亲般馅氟塌秆砚兼蔗缕侨萝侍捻烫溢瓦萌曼绣熬瘟撑翘慕娄况驯磁崩条件随机场-详细条件随机场-详细 该条件约束优化问题的Lagrange函数 最大熵模型： 踩西许枷跪友鲍团痛跳四浩汤篮楼犯荐猪隘啸措咏激滇渗惭椭漆睹肝捆背条件随机场-详细条件随机场-详细 最大熵模型的概率图 遍撮角巡辐仔潘斑彩厩铲晒淖拍杠漓些包剖因太孟倪泥卢佯慷砖雕洪宜种条件随机场-详细条件随机场-详细 2 不同之处 无向图模型因子是势函数，需要全局归一 有向图模型因子是概率分布、无需全局归一 有向图模型和无向图模型的对比 1 共同之处 将复