强化学习下四足机器人静动步态稳定转换控制Stability Transition Control of Quadruped Robot's Static Dynamic Gait Under Reinforcement Learning
刘艳,黄亚博,何伟,王贝贝
摘要(Abstract)：
四足机器人单腿内多关节协同紊乱波动，静-动步态转换过程中状态到节律动作断续，动态控制不稳定进一步使误差累积，无法精细控制，导致整体角速度峰值偏移大。为此，提出基于强化学习的静-动步态稳定转换控制方法。以强化学习方式为核心，通过构建Actor-Critic网络结构，实现从环境状态到节律动作的连续映射，增强步态转换的平滑性。引入改进的泛稳定裕量判据，对ZMP偏移误差进行动态补偿，并结合强化学习奖励函数优化加速度与足端轨迹的协同控制，在全局层面提升系统的抗干扰能力与动态稳定性。实验结果表明，所提方法在楼梯爬升任务中显著改善步态性能，左、右足相空间轨迹的角速度峰值分别为0.2 rad/s与1 rad/s，与实际控制目标的偏差仅为0.2 rad/s，验证了方法的有效性与鲁棒性。
关键词(KeyWords)： 强化学习;四足机器人;静-动步态;稳定转换控制;节律动作
基金项目(Foundation): 2024年河南省高等教育教学改革研究与实践项目—虚拟仿真教学实验资源平台建设与管理（2024SJGLX0570）;; 2023年度河南省本科高校研究性教学系列项目—电子信息类虚实融合创新性实践平台（2023SJGYC0043）;; 2021年河南省科技攻关计划（工业领域）项目—人工智能AI环境下机器视觉关键技术研究（212102210571）
作者(Author): 刘艳,黄亚博,何伟,王贝贝
DOI: 10.19356/j.cnki.1001-3997.2026.10.007
参考文献(References)：
- [1]秦鹏举，蒋周翔，苏瑞，等.基于机器学习与视觉的四足机器人步态精确监测方法[J].科学技术与工程，2024,24(12):5037-5043.(Qin Pengju,Jiang Zhouxiang,Su Rui,et al. Accurate gait monitoring method for quadruped robot based on machine learning and vision[J].Science Technology and Engineering,2024,24(12):5037-5043.)
- [2]陈久朋，李春磊，伞红军，等.基于模型的四足机器人步态转换控制研究[J].农业机械学报，2024,55(3):431-440.(Chen Jiupeng,Li Chunlei,San Hongjun,et al.Model based gait transition control for quadruped robots[J].Transactions of the Chinese Society for Agricultural Machinery,2024,55(3):431-440.)
- [3]王小静，向旺，孙玉华.8自由度四足机器人减振仿真研究[J].机械设计，2023,40(S1):86-91.(Wang Xiaojing,Xiang Wang,Sun Yuhua.Simulation study on vibration isolation of an eight-degree-of-freedom quadruped robot[J].Journal of Machine Design,2023,40(S1):86-91.)
- [4]李姗姗，王洪波，陈建宇，等.新型四足并联军用机器人步态控制算法及仿真[J].兵工学报，2023,44(3):895-909.(Li Shanshan,Wang Hongbo,Chen Jianyu,et al.Gait control algorithm and simulation of new parallel quadruped military robot[J].Acta Armamentarii,2023,44(3):895-909.)
- [5]张思远，朱晓庆，阮晓钢，等.基于环境反馈机制的四足机器人运动技能学习[J].控制与决策，2024,39(5):1461-1468.(Zhang Siyuan,Zhu Xiaoqing,Ruan Xiaogang,et al.Motor skill learning of quadruped robot based on environmental feedback mechanism[J].Control and Decision,2024,39(5):1461-1468.)
- [6]唐庭龙，胡胜朋，刘馨琼，等.强化学习驱动的多机器人协同路径规划算法[J].印刷与数字媒体技术研究，2025(5):359-368.(Tang Tinglong,Hu Shengpeng,Liu Xinqiong,et al.Reinforcement learning-driven multi-robot cooperative path planning algorithm[J].Printing and Digital Media Technology Study,2025(5):359-368.)
- [7]沈建明，刘进福，徐林森，等.对抓式爪刺履带仿生爬壁机器人的设计与分析[J].机械设计与制造，2025(5):312-315+321.(Shen Jianming,Liu Jinfu,Xu Linsen,et al.Design and analysis of bionic climbing robot with counter grasping spine-track[J].Machinery Design&Manufacture,2025(5):312-315+321.)
- [8]周阿连，于子茵，刘刚.联合改进鸽群优化RBF神经网络PID的自动驾驶机器人车速控制[J].机械设计与制造，2025(6):69-74.(Zhou Alian,Yu Ziyin,Liu Gang.Speed control of autonomous driving robot based on improved pigeon-inspired optimization RBF neural network PID[J].Machinery Design&Manufacture,2025(6):69-74.)
- [9]顾继俊，徐宏剑，刘凯书，等.油气站场四足巡检机器人楼梯爬越控制研究[J].计算机仿真，2025,42(1):415-421.(Gu Jijun,Xu Hongjian,Liu Kaishu,et al. Research on stair climbing control of quadruped inspection robot in oil and gas station[J].Computer Simulation,2025,42(1):415-421.)
- [10]孙列，董富江.基于传感信号的工业机器人抛光加工位姿控制[J].传感技术学报，2024,37(8):1369-1376.(Sun Lie,Dong Fujiang.Position and pose control of industrial robotpolishing based on sensor signal[J].Chinese Journal of Sensors and Actuators,2024,37(8):1369-1376.)