多Agent系统环境下动态信任模型研究-计算机软件与理论专业论文.docxVIP

摘要 摘要 I万方数据 I 万方数据 摘 要 多 Agent 系统，正朝着大规模、开放的、动态的和分布式结构的方向发展,在系 统中拥有大量自私的 Agent,与其它 Agent 交互时提供虚假信息或劣质服务来获得自 己最大化利益。在任何时间 Agent 可以以不同角色进入或离开系统,因而具有自私性 和不可靠性。在系统中建立信任机制不仅有利于增加 Agent 交互的可靠性且可以帮助 Agent 作出理性决策,因此信任机制在开放多 Agent 系统中有重要作用。 近年来，不同研究人员基于多 Agent 系统环境下提出了不同信任和信誉模型,然而 当前信任模型都有不足之处:第一,基于概率论的 Beta 分布信任模型仅能评价二元离 散集,没有考虑到推荐第三方是否可信问题及算法难以适应动态环境变化;第二,基于 马尔可夫决策过程和强化学习方法的信任模型假设 Agent 知道自己所处的环境所有 的信息,Agent 在动态环境下缺乏学习和决策能力以及没有考虑到“维数灾”问题。 针对以上这些不足之处,本文提出基于狄利克雷分布的信任模型,以及基于机器学 习理论的信任模型。本文主要内容和贡献包括如下方面: (1)基于狄利克雷分布的信任模型 利用狄利克雷后验分布计算直接信任度，可以更加有效地避免策略性欺骗对计算 直接信任的影响。为了得到最准确的推荐信息，使用最优无偏估计方法对推荐信任度 进行估计。由于本文中是以第三方推荐作为计算信任度参考量的，所以就存在第三方 是否可靠的问题，因此提出了层次过滤算法对第三方推荐得到信息进行过滤。 仿真实现表明信任模型能够有效抑制简单的,不诚实推荐和策略的恶意 Agent 攻 击。 (2) 基于机器学习理论的信任模型研究 在多 Agent 部分可观察马尔可夫决策过程框架中加入信任能使 Agent 作出更好决 策。由于 Agent 是隐状态, 用信念状态来评估更新 Agent 交互状态。在交互状态评估 函数中的转移概率分布和观察概率分布是部分可观察或完全未知的,因此采用贝叶斯 学习方法学习未知参数。随着 Agent 交互次数不断增多,信念状态空间会出现“维数 灾”问题。采用分解联合状态、行动和观察方法来压缩状态空间,并提出基于模型贝 叶斯强化学习算法思想的多 Agent 信念状态空间压缩算法寻找最优值函数和策略。 仿真结果表明该算法能有效抑制恶意 Agent 数量,并使得 Agent 获得最大化期望回 报。 关键字：多 Agent 系统；狄利克雷分布；多 Agent 部分可观察马尔可夫决策过程;贝 叶斯强化学习；信任模型 Abst Abstract II万方数据 II 万方数据 Abstract Multi-Agent systems are moving toward large-scale, open, dynamic and distributed architectures, in which numerous self-interested agents exist. When self-interested agents and other agent interact, they may provide deceitful information or bad service in order to obtain maximum bene?t for themselves. As agents with different characteristics can freely enter or leave the system at any time, agents are likely to be self-interested or unreliable. In multi-agent system, establishing a trust mechanism not only is advantageous to enhance reliability among of agent but also in aid of agent’s make a rational decision-making, therefore trust mechanism plays an important role in open multi-agent systems. In recent years，researchers have developed many different trust and reputation models for multi-agent systems. However, current trust models hava some shortage:Firstly, the pro