复杂环境下机器人的行为学习的探究.pdfVIP

第27卷第6期增刊 仪器仪表学报 V01．27No．6 2006年6月 ofScientificInstrument Jun．2006 ChineseJournal 复杂环境下机器人的行为学习研究 孙方平符秀辉 (沈阳化工学院信息工程学院沈阳 110142) 摘要机器人为实现在复杂环境下的探索任务，必须具有自主学习其行为策略的能力。本文将Q_学习与基于案例的学习 结合，实现机器人在复杂环境下的自学习能力。 关键词 强化学习 Q-学习 案例学习 behavioralaboutrobotin environment Researchonthe study complicated Sun FuXiuhui Fangping (Institute InstituteChemical 110142，China) ofInformationEngineering，Shenyangof Technology，Shenyang andbehavioral for itstaskof AbstractRobotmusthavethe of strategyimplementing abilityindependentstudy in environment．Thisrealizesthatrobot ability basedon exploringcomplicated paper learning independently case and in environment． Q-study combiningstudy complicated wordsreinforcement casebased Key learningQ_learning learning 1 引 言 2机器人行为学习原理 机器人在复杂环境中移动时，由于无法获取环境 由于在复杂环境中，机器人缺少关于其所在的工 的完备信息，难以预先建立环境的精确模型，必须具有 作环境的完备知识，机器人必须通过与环境的交互，即 自主的行为学习能力。强化学习是一种重要的机器学 试验、观察和推理进行行为学习。本文采用Q．学习进 习方法，在强化学习过程中，可以不需要环境(对象)的 行机器人行为学习，根据Q-学习方法，智能体通过动 模型，学习单元(Agent)通过不断地与环境接触获取控作值函数选择一个执行动作，被称作Q函数，Q(S，a) 制经验，并改善动作，是学习的一种从状态到动作的映 是智能体在状态sES执行动作aEA，而获得的期望折 射，从而获得最优的控制策略。Q．学习作为一典型的 扣回报值总和，从而确定了当前策略的动作序列。Q 强化学习方法，提供agent在Markov环境中利用所经函数的更新是依据智能体与环境的交互经验来完成 历的动作序列选择最优动作的一种能力，并且不需要 的，其学习过程如下： 建立环境模型，因此强化学习(Q-学习)已经被广泛地 (1)观察当前状