摘要

【针对问题】空间主动碎片清除操作中连续型三臂节机器人系统跟踪
【提出方法】一种基于强化学习的自适应滑模控制算法（强化学习 + 滑模控制）
【具体内容】（1）基于数据驱动的建模方法，采用 BP 神经网络对三臂节连续型机械臂进行建
模；（2）神经网络作为预测模型指导强化学习实时调节所提出滑模控制器的控制参数，从而实现连续型机器人运动的实时跟踪控制。
【得出效果】高精度、更低的超调量和更短的调节时间

关键词

• 空间连续型机器人；
• 强化学习；
• 预测控制；
• 滑模控制；
• 轨迹跟踪；

0 引言

【问题背景】
（1）逐渐增多的空间碎片对在轨航天器构成了重大的威胁 $\to$ 空间主动碎片清除技术的重要性；
（2）连续型机械臂具有占用空间小，柔软灵活等特点 $\to$ 通过主动变形在有限的工作空间内完成复杂的动作 $\to$ 呈现出高度非线性的动力学特征 $\to$ 传统建模方法在参数摄动、外部干扰等不确定因素下性能表现差

【前人研究】
（1）基于神经网络的建模及控制方法：

不足之处：由于拟合模型的精度依赖于监督数据的完备性，导致模型仍不可避免的会受到过拟合问题的影响 + 开环控制策略进一步限制运动轨迹
（2）模型预测控制方法：

不足之处：容易局部最优；不具有外部探索的能力 $\to$ 无法对外部的反馈信息做进一步处理；不能拓展到大型机器人中
（3）将深度强化学习引入模型预测控制中滚动优化的奖励策略

【本文工作】

1. 提出一种数据驱动的多层前馈神经网络模型；
2. 设计了变结构控制器；
3. 在双延迟深度确定性策略梯度算法的基础上，引入模型预测控制原理；

1 空间连续型机器人动力学模型

1.1 场景假设

(1) 环境假设

1. 机器人已被送至碎片附近；
2. 位姿调整使得机械臂进入可以捕获碎片的范围内；
3. 末端装有用于实时监测的传感器 + 执行器；

(2) 模型假设

1. 节盘与驱动线之间光滑无摩擦；
2. 柔性支撑处无外部碰撞
3. 各臂节变形服从等曲率假设

1.2 公式分析

广义坐标描述机器人运动：$qq=[{\alpha }_1,{\alpha }_2,{\alpha }_3{]}^T$
当前臂节 $i$ 对应的局部坐标系相对于全局坐标系的转角：${\beta }_i$
当前臂节 $i$ 对应的局部坐标系相对于全局坐标系的坐标：$(x_i,y_i)$
当前臂节 $i$ 的弯曲形变角度：${\alpha }_i$

1. 机器人系统动能$T$：
   $$T=T^d+T^s=\frac{1}{2}{\dot{q}}^{T}M\dot{q}\text{\hspace{1em}(1)}$$
   $T^d\to$ 节盘动能；
   $T^s\to$ 柔性支撑动能；
   $MM\to$ 机器人系统的质量阵；
2. 连续型机器人系统弹性力$Q_e{Q}_e$对应的虚功：
   $$\delta W_e=-{\int }_0^l{\int }_{A}Eϵ\delta ϵdAds=-Q_e^T\delta q\text{\hspace{1em}(2)}$$
   $E\to$ 柔性支撑的弹性模量；
   $A\to$ 截面面积；
   $l\to$ 长度；
   $ϵ\to$ 中性层的弯曲应变；
   $s\to$ 局部坐标系下弹性力作用点到原点的弧长；
3. 机器人系统驱动力$Q_a{Q}_a$对应的虚功：
   $$\delta W_a=Q_a^T\delta q\text{\hspace{1em}(3)}$$
4. 系统的动力学方程：
   $$M\ddot{q}=-Q_e+Q_a+Q_v\text{\hspace{1em}(4)}$$
   其中：$Q_v=-\dot{M}\dot{q}+(\frac{\partial T}{\partial q}{)}^T$
5. $f(t)$表征外部干扰和建模误差的列向量：
   $$f(t)=d(t)+△M_0\ddot{q}+△C_{0}q$$

2 空间连续型机器人滑模控制器

（对滑模控制不了解呜呜呜。。。

3 基于强化学习的滑模控制器

TD3介绍：

1. 两个由 ${\theta }^{Q_k}(k=1,2)$ 参数化的 Critic 网络 $Q(s,a|{\theta }^{Q_k})$；
2. 及一个由 ${\theta }^{\mu }$ 参数化的 Actor 网络$\mu (s|{\theta }^{\mu })$；
3. 惩罚系数 $\rho$ 通过滑动平均法更新目标网络参数：${\theta }^{\prime }=\rho \theta +(1-\rho ){\theta }^{\prime }$
4. 始终选取两个 Critic 网络中的最小值，进行延迟策略更新；
   
5. 引入随机噪声来进一步增加智能体探索环境的能力
   

产生问题：

1. 传统强化学习的动作策略无法在短期内表现出明显的奖励差异
2. 每个时间步，不适合频繁调用此类非线性系统动力学方程，容易造成计算负担

解决问题：引入了数据驱动的学习方法

1. 计算量小；
2. 不需要精确的动力学模型信息；
3. 可针对不同的环境采用对应的数据进行训练；
4. 具有良好的环境实时交互和迁移能力；
5. 适用于仿真计算及地面实验；

本文选用$\delta$和$k$作为强化学习的自适应优化参数。

4 仿真校验

过度冗余的网络输入会导致网络输出对系统状态变化不敏感，降低学习网络的性能；
而关键输入信息的缺失则导致网络不能有效地反映系统动态变化。

动作向量 $\to$ 滑模控制器的控制参数$\delta$和$K$；
状态向量$s$ $\to$ 信息包含各节角度、角速度、角度跟踪误差、角速度跟踪误差及下一时刻预期上述信息，来合理地表征机械臂系统与目标轨迹的动态信息；
奖励函数$r$ $\to$ $r=d_e+h_{goal}$；

设计的预测模型训练过程中代价值快速下降，经 70 代训练后已趋于稳定。
所设计的基于 BP 网络的预测模型可以将拟合的各臂节弯曲角度的相对误差保持在 $+/-1\%$ 以内
验证了该预测模型的准确性

• 每代评估时的平均奖励值在逐步提升，策略在逐步优化
• 由于$ff$的影响，在每代中的每个 step 对应的奖励值尤其是取得额外奖励的时间会存在差异，导致平均奖励值会存在小幅震荡

约于 1.7 s 时便达到稳定跟踪状态
本文提出的控制器明显具有更低的超调量和更短的调节时间
本文算法对外部扰动和建模误差具有更强的抑制能力

5 结论