半markov换空间控制过程及其应用.pdf

摘要 摘要 随着信息科学技术的迅猛发展和广泛应用，出现了大量反映现代科学技术 发展方向的网络通信系统。在应用需求的推动下，网络通信系统的功能日益强 大，结构日趋复杂，加上多种控制策略与随机变化的应用环境频繁交互，使得系 统的动态行为更加复杂。网络通信系统的性能分析和优化为系统的设计提供依 据，为系统的运行提供控制决策方案，在提高系统的运行效率和服务能力并提供 服务质量保证方面发挥着关键的作用。在诸如系统与控制、运筹学、计算机科学 及人工智能等领域，出现了众多用于研究随机动态系统性能与优化的方法。实际 网络通信系统的复杂性与现有优化方法的局限性，是该研究领域所面临的挑战。 如何更好地描述系统的特征并加以有效利用，探索新的优化方法，解决实际网络 通信系统中存在的关键技术问题，是当前面临的重要理论和应用课题。 本文研究旨在面向现代网络通信系统中的全新控制对象，探索有效的性能 分析与优化方法。系统地提出事件驱动的具有层次化动态结构的半Markov切换 空间控制过程，涉及到系统的建模、性能分析、基于事件的优化方法。通过对事 件灵活定义和分类，并根据系统的动态特征，从状态空间上将系统划分为多个层 级，使得模型的构建具有很高的灵活性、普适性和可扩展性，提高对实际系统的 描述能力。采用事件驱动的控制策略，以减小策略空间，大幅度降低优化算法的 计算复杂度，提高算法的实时性。利用事件驱动的策略特性及层次化的动态结构 信息，来降低优化算法对系统参数信息的依赖，提高算法的自适应性。探索网络 通信系统中一类关键技术问题的解决途径，如无线多媒体通信网的适应带宽配 置、动态电源管理的策略优化、新一代网络媒体服务系统的建模与优化，为现代 信息服务业提供低代价、高性能、可扩展、易管理的控制决策方案。 通过对不同层级事件的定义，构造在事件驱动控制策略下系统的半Markov 核和拟无穷小矩阵，定义了性能函数、切换代价以及优化的性能测度，提出了半 Mad∞v切换空间控制过程的模型。基于半M盯l(oV性能势，推导半M破ov切换 空间过程的Poisson方程，进而构造出事件驱动策略的灵敏度公式，包括性能梯 度和性能差公式。对于确定型策略的优化，充分利用切换过程半Markov核和拟 无穷小矩阵中包含的层次化动态结构信息，推导了事件驱动的切换控制策略的 比较定理，摆脱策略迭代算法对转移概率信息的依赖，实现算法的自适应性；利 用事件驱动的策略特性，放宽了策略迭代算法的适用性条件即行动不相关的前 提，拓展了策略迭代算法的适用范围；通过依据事件进行性能势聚集，减少需要 计算或估计的性能势数量，有效降低计算的复杂度和提高算法的实时性。在此基 I 摘要 础上，提出了基于单样本轨道的在线自适应策略迭代算法，证明了算法的收敛 性。对于随机型策略的优化，在性能梯度公式的基础上，结合性能势基于单样本 轨道的表示形式，推导出平均性能测度关于事件驱动的切换控制策略的性能梯 度基于单样本轨道的估计式，进而结合随机逼近算法，提出了基于策略梯度的在 线自适应优化算法。利用事件驱动的策略特性，有效减小优化算法的计算量，摆 脱对系统参数的依赖，提高算法的自适应性。系统的层次化动态结构使得基于梯 度的算法能够收敛到全局最优。 研究无线多媒体通信网的适应带宽配置，通过构建事件驱动的随机分析模 型，将适应带宽配置问题转化为一个带约束的随机优化问题。在模型中，适应带 宽配置和呼叫准入控制构成一个统一整体，考虑了各类业务的不同优先级，区分 了新到达呼叫与越区切换呼叫。考虑三种重要的QoS指标作为约束，提出一种 结合策略梯度估计和随机逼近的在线自适应优化算法。该算法充分利用事件驱 动的策略特性，计算和评估只需在事件发生的时刻进行，并且不依赖于系统参数 的信息，对环境的变化具有良好的适应性，能够保证收敛到全局最优值，有效求 解多种QoS指标约束下的适应带宽配置问题。 考虑动态电源管理的随机型策略和超时策略的优化问题，构建事件驱动的 半Markov随机切换模型，通过刻画随机环境中动态电源管理系统所表现出的典 型的层次化动态，对实时系统的动态提供了精确的描述。对应于随机型策略和超 时策略，提出了两种在线自适应优化算法，充分利用事件驱动的策略特性及系统 的层次化动态结构信息，实现了实际应用对算法的自适应性、计算实时性和有效 性的