关键词：深度强化学习;异步优势;SAC算法;经验回放池;机械臂;运动规划;微创手术;CoppeliaSim
摘 要：针对深度强化学习算法在高维状态空间和高精度需求下的机械臂运动规划任务中存在探索效率低、收敛速度慢以及不收敛等问题，文中以SAC（Soft Actor-Critic）算法为基础，引入异步优势机制，提出了一种融合异步优势的AA-SAC（Asynchronous Advantage Soft Actor-Critic）算法。该算法使用Q_target网络代替了原V网络，有效降低了Q网络的方差，n个独立的进程可并行训练，提升了训练效率。将AA-SAC算法的经验回放池划分成两个部分，将高质量的经验数据单独存放、单独采样，以提高有效经验数据的利用率。仿真结果表明，AA-SAC算法在收敛速度、成功率和稳定性上表现最优。相较于SAC算法，AA-SAC算法的收敛时间提前了3 000回合。收敛后AA-SAC算法的成功率达到了96%,比SAC算法提升了6%,比DDPG（Deep Deterministic Policy Gradient）算法提升了26%。
内 容：原文可通过湖北省科技资源共享服务平台(https://www.hbsts.org.cn/)获取