基于 TD3 强化学习的康复机械臂变阻抗控制

Sun, 12 Apr 2026 12:00:00 +0800

仿真到实机的 Sim-to-Real 是机器人控制的难题。本文目的是复盘如何从零推导底层物理模型，打通实机控制闭环，并最终将 RL 智能体部署到真机上的全过程。

1. 动力学重力前馈

纯 PID 控制在面对随姿态非线性变化的重力矩时，极易产生稳态误差与迟滞。基于 RNE（递归牛顿-欧拉）算法建立了动力学模型，并将计算出的重力项直接作为前馈量引入底层控制器。复合控制律由 重力项 G(q)、比例项 Kp*e(t)、积分项 Ki∫e(τ)dτ* 以及 微分项 Kd*ė(t) 共同组成。

在此架构下，PID 控制器仅需处理动态误差与摩擦力扰动。

图 1 关节轨迹跟踪与误差分析

2. 3D 笛卡尔空间控制

在执行推拉、画圆等被动康复训练时，笛卡尔空间的轨迹跟踪极易受到多轴耦合的干扰。

基于 DH 参数的正逆运动学解析解，结合时间序列索引与线性插值，保障了系统底层的绝对实时性。从空间映射数据来看，Z 轴执行大范围运动时，非运动方向（X/Y轴）的交叉耦合微波振荡被有效抑制。

图 2 空间解耦分析

3. Sensorless 外力观测与二阶导纳模型

人机物理交互（pHRI）的核心在于感知与顺应。系统通过电机扭矩反馈与雅可比矩阵 J(q) 实时反向解算末端交互外力 F_ext。

在此基础上，系统部署了经典的二阶导纳控制（Admittance Control）模型，通过建立 惯性 M、阻尼 D 与 刚度 K 的动力学平衡，使系统对外部作用力产生位置退让。通过实机单变量特性分析实验，我将系统精准整定至最优临界阻尼状态，有效消除了欠阻尼参数下易引发的弹簧震荡感。

图 3 阻尼特性对比

4. TD3 强化学习部署

传统恒定刚度控制面临着本质的两难困境：设定偏硬（如 400 N/m）会在患者痉挛时导致二次拉伤；设定过软（如 100 N/m）则完全丧失轨迹强制引导的能力。

heyulong | Robots and Motion Control Algorithms

基于 TD3 强化学习的康复机械臂变阻抗控制

1. 动力学重力前馈

2. 3D 笛卡尔空间控制

3. Sensorless 外力观测与二阶导纳模型

4. TD3 强化学习部署