搬运系统作业分配问题的小脑模型关节控制器Q学习算法..pdfVIP

第 26 卷第 8 期 控 制 理 论 与 应 用 Vol. 26 No. 8 2009 年 8 月 Control Theory Applications Aug. 2009 文文文章章章编编编号号号: 1000?8152(2009)08?0884?05 搬搬搬运运运系系系统统统作作作业业业分分分配配配问问问题题题的的的小小小脑脑脑模模模型型型关关关节节节控控控制制制器器器Q学学学习习习算算算法法法 唐 昊1,2, 丁丽洁1, 程文娟1, 周 雷1 (1. 合肥工业大学 计算机与信息学院, 安徽 合肥 230009; 2. 安全关键工业测控技术教育部工程研究中心, 安徽 合肥 230009) 摘要: 研究两机器人高速搬运系统的作业分配问题. 在系统的Markov决策过程(MDP)模型中, 状态变量具有连续 取值和离散取值的混杂性, 状态空间复杂且存在“维数灾”问题, 传统的数值优化难以进行. 根据小脑模型关节控制 器(CMAC)具有收敛速度快和适应性强的特点, 运用该结构作为Q值函数的逼近器, 并与Q学习和性能势概念相结 合, 给出了一种适用于平均或折扣性能准则的CMAC-Q学习优化算法. 仿真结果说明, 这种神经元动态规划方法比 常规的Q学习算法具有节省存储空间, 优化精度高和优化速度快的优势. 关键词: 作业分配; Markov决策过程; Q学习; CMAC 中图分类号: TP202 文献标识码: A The cerebellar-model-articulation-controller Q-learning for the task assignment of a handling system TANG Hao1,2, DING Li-jie1, CHENG Wen-juan1, ZHOU Lei1 (1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei Anhui 230009, China) Abstract: The task assignment of a high-speed handling system with two robots is studied in this paper. In the under- lying Markov decision process(MDP) model, the state variable is composed of both continuous and discrete values, and the state space is complex and suffers from the curse of dimensionality. Therefore, the traditional numerical optimization