基于信息熵的POMDP模型观测.docVIP

基于信息熵的POMDP模型观测 　　中图分类号：TN91； TN919.8 文献标志码：A 文章编号：1009-6868 （2015） 05-0050-006 　　摘要：部分可观测马尔可夫决策过程（POMDP）广泛应用于建模决策任务。模型中的观测矩阵主要用来建模环境的不确定性，通常很难从训练数据中直接获取，需要引入额外的信息进行估计。通过引入信息熵来修正模型中的观测矩阵，修正后的观测矩阵更能反映环境的不确定性。模拟环境下的实验表明，引入信息熵进行修正估计的观测矩阵有效提高了POMDP模型的性能，而在基于POMDP模型的对话系统中，修正的估计提高了系统的决策准确度。 　　关键词：部分可观测马尔可夫决策过程；不确定性；意图识别；观测矩阵；信息熵 　　Abstract： Partially Observable Markov Decision Process （POMDP） is a decision model used extensively for decision tasks. The observation matrix of the model is a channel that reflects the uncertainty of surroundings， which is hard to do directly from the corpus. Extra information needs to be introduced for estimation of the observation matrix and better reflection of surroundings. The concept of information entropy is introduced to modify the observation matrix in the model by which the modified observation matrix can reflect the uncertainty of the situation more precisely. Simulated experiment and real situation show that introducing information entropy to modify the observation matrix improves performance of the POMDP model together with the decision-making accuracy in a dialogue system based on POMDP. 　　Key words： partially observable markov decision process； uncertainty； intention identification； observation matrix； information entropy 　　人机对话是语言信息处理中的一个重要应用任务，对话管理是对话系统中的核心组成部分，决定了对话系统的质量，为此出现了很多关于对话管理模型的研究。 　　已有的对话管理技术[1]主要包括：基于自动机的方法[2-3]，基于框架的方法[4-5]，基于信息状态的方法[6]，基于概率模型的方法[7-8]。基于自动机的方法虽然易于设计，但是不灵活，不自然，难以应付复杂的任务。基于框架的方法实现的复杂度较低，但是对话比较机械，人机交互的自然度较低。基于信息状态的方法比较灵活，能丰富的表达对话的状态，把对话过程看作是一列规则的变化，但是需要人工的定义规则与策略。概率方法主要基于马尔可夫决策过程（MDP）与部分可观测马尔可夫决策过程（POMDP）模型。与前3种方法相比，基于POMDP的方法不需要人工定义策略，而是通过数据学习策略，POMDP将客观世界的动态特性用状态转移来描述，在状态不完全可观测的情况下，系统通过与环境交互，进行决策，管理对话过程。 　　虽然基于POMDP模型的对话管理具有更大的灵活性，可用于状态不完全可观测的情况，但是模型需要统计状态转移矩阵，在训练过程比较依赖于数据；需要定义回报函数，目前没有很好的估计方法；需要估计观测概率矩阵，一般情况下是很难从数据中直接估计。这些问题会给基于POMDP模型的对话管理带来困难。 　　基于POMDP模型的对话管理是根据当前的信念状态分布来选择动作，因此信念状态的估计会直接影响到系统决策性能，而观测函数的估计也会直接影响到信念状态的估计。在对话系统中，POMDP模型的观测函数一般是建模从用户对话意图到系统状态的映射，但是，用户对话意图本身并不是直接可获得的，它是由用