基于部分可观测Markov决策过程理论的盾构推进载荷规划.pdfVIP

第50卷第21期 机 械 工 程 学 报 V_o1．50 No．21 2014年 11月 JOURNAL0FMECHANICALENGINEERING NOV． 2014 DoI：1O．3901／JME．2014．21．084 基于部分可观测Markov决策过程理论的 盾构推进载荷规划术 胡祥涛 张红旗 李 自成2 黄永安2 (1．中国电子科技集 团公司第 38研究所 合肥 230088； 2．华中科技大学机械科学与工程学院 武汉 430074) 摘要：针对盾构掘进过程中位姿控制问题，提出了基于部分可观测马尔科夫决策过程(PartiallyobservableMarkovdecision processes，POMDP)t~论的推进载荷规划方法。在推进载荷规划模型中，将盾构自动纠偏看成不确定环境下序贯决策问题，充 分考虑掘进过程中随机因素的影响，将盾构掘进过程中受到的阻力、推进载荷和盾构位姿分别定义为POMDP的状态集、行 动集和观测集，然后重点讨论了信念状态、状态转移函数和观测函数等几个关键参数的获取方法。在计算值函数时，考虑了 盾构位姿偏离程度和盾构载荷平稳程度对推进载荷决策的影响，建立了立即收益函数和长期折扣收益函数，并采用基于点的 值迭代算法寻求推进载荷最优规划策略。针对天津地铁9号线进行了案例分析，结果表明基于POMDP的推进载荷规划方法 是合理有效的，能够顺应掘进阻力随机变化。 关键词：盾构法；自动纠偏；POMDP；推进载荷规划 中图分类号：TG156 POM DP-basedPlanningM odelofDrivingForceduring ShieldTunneling HU Xiangtao ZHANG Hongqi LIZicheng HUANGYongan2 (1．No．38ResearchInstitute，ChinaElectronicsTechnologyGroupCorporation，Hefei230088； 2．SchoolofMechanicalScienceandEngineering，HuazhongUniversityofSciencenadTechnology,Wuhna430074) Abstract：Inshieldtunneling，theautomaticcontrolsystemsaremostlybasedonempiricalrelationshipsanddonothavea precise hteoreticalbackground．Consequently，thepresentautomaticcontrolsystemscontrolthe shield accordingto a snake-likemotiontomoveitbackontotheplanned alignment．Tosolvesuchproblems，anapproachthatadoptspartially observableMarkovdecisionprocesses(POMDP)theorytoplanthedrivingforcewithexplicitrepresentationoftheuncertainty duringexcavationispresented．InPOMDP,htehugeresistancesduringexcavation，shieldattitudes，andthedrivingforceof possibleworldarescatteredashtestateset，observesetandactionset，respectively．Furthermore，thedeviationsofshieldattiutde from plannedalignmentna dthestationary ofhteloadsactingontheshieldareconsideredinthecalculationofthevaluefunction． Theexperimentalre