关键词：机械臂;;路径规划;;强化学习
摘 要：智能化是新一代工业机器人的发展方向,多机器人协同工作,人机协同是工业机器人重要发展方向。这要求工业机器人必须具有自主的路径规划能力。针对机器人离线路径规划的方法主要有两类:基于全局的路径规划算法,基于局部的路径规划算法。上述方法应用在空间机械臂上会遇到两个技术难点,一个是路径的搜索空间由二维变成三维,路径搜索空间变大;第二个是在进行空间机械臂路径规划时的碰撞检测,需要进行机械臂的逆运动学求解,会存在逆运动学多解或者奇异解的情况,导致碰撞检测失误。针对上述提到的问题,本文首先对空间进行数学建模和几何分析,分析了空间机械臂的正运动学求解和逆运动学求解。基于策略搜索的强化学习的强化学习方法能够让机械臂进行连续空间上进行动作输出,有利于机械臂在空间中进行变步长搜索路径,但是基于搜索策略是回合更新,训练速度比较慢。本文采用Actor_Critic强化学习结构,结合基于策略搜索强化学习算法的连续空间输出的优点和基于值函数的强化学习方法的步更新的优点,然后再对算法进行改进,使用深度神经网络来构建Actor和Critic。针对空间机械臂的避障路径规划,本文对强化学习中的智能体的状态和动作和奖励参数进行了设计:将轴的单次增量作为强化学习中智能体的动作输出。使得强化学习的方法在进行空间机械臂路径规划的时候,能够在连续空间上输出动作,而且在进行碰撞检测时不用进行求逆。本文构建了应用于空间机械臂避障路径规划的强化学习仿真环境。该仿真环境有两部分组成,一部分是机械臂模型和含障碍物的环境。一部分是强化学习模型。首先利用matlab实现机械臂模型和含障碍物的环境的构建,然后利用tensorflow实现强化学习的构建,最后使用matlab Api for python将两个模块整合起来。仿真实验表明了本文改进的确定策略梯度强化学习在进行空间机械臂避障路径规划的时候,不需要进行逆运动学求解和能够在连续空间上输出机器人的动作,而且能够找出一条理想的避障路径出来。
内 容：原文可通过湖北省科技信息共享服务平台（http://www.hbstl.org.cn)获取