摘要

1. 基本介绍深度学习、强化学习；
2. 介绍深度强化学习流行算法；
3. 深度强化学习在机器人操作领域的应用现状；
4. 未来的发展方向作出总结与展望；

关键词

1. 深度学习；
2. 强化学习；
3. 机器人操作；
4. 深度强化学习；
5. 机器人学习；

1 引言

传统机器人难题：机器人不具备处理未知环境的能力；开发时间长；专业技能需求高；仅能完成固定工作且不能泛化到新任务。

深度强化学习（deep reinforcement learning，DRL）将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入信息控制机器人的行为，赋予了机器人接近人类的思维方式，是机器人获得操作技能非常重要的方法。

机器人技能学习是使机器人通过交互数据，从行为轨迹中自主获取和优化技能，并应用于类似的任务。

RL 应用于机器人操作行为的研究存在数据特征提取困难和机器人缺乏感知能力等问题。

2 概念和术语

2.1 深度学习

深度学习侧重于对事物的感知和表达，其核心思想是通过多层网络结构和非线性变换，将低层次数据特征映射为易于处理的高层次表示，以发现数据之间的联系和特征表示。

深度学习的模型主要有深度信念网络（deep belief network）、卷积神经网络（convolutional neural network，CNN）、循环神经网络（recurrent neural network）等。

深度学习方法应用到机器人操作困难：状态估计中存在噪声干扰、奖励函数难以确定、连续行为空间难以处理等。

基于深度学习训练的机器人模型不具备行为决策能力和对未知环境的适应能力

2.2 强化学习

2.2.1 强化学习算法原理

行为策略函数是智能体的行为准则，其本质是映射，将环境状态集合 $S$ 映射到行为集合 $A$ 的概率分布函数或者概率密度函数，指导智能体选择最佳行为。

2.2.2 强化学习算法分类

1. 无模型（model-free）算法和基于模型（model-based）的算法

无模型强化学习算法是智能体通过与环境交互产生的样本数据，直接优化动作，而不是拟合模型。

1. 无模型算法在样本数据收集方面非常昂贵；
2. 无模型算法对超参数（比如学习率）非常敏感；

基于模型的强化学习算法是智能体根据其与环境交互产生的数据，训练并拟合模型，然后智能体基于模型优化行为准则。在基于模型的算法中，智能体可以推断未知的环境状态，提前计算状态转移概率和未来期望奖励，提高了样本效率。

对未知的、复杂的动态环境难以精确地建模。

基于深度强化学习，机器人操作行为研究多采用无模型强化学习方法。

2. 基于价值（value-based）的算法和基于策略（policy-based）的算法

基于价值的算法计算所有可能的动作值，但只选取价值最大的动作。但是，该算法计算量大，存在振荡不收敛现象，而且难以解决连续动作空间的问题。

基于策略的算法中，智能体直接输出下一时刻可能动作的概率，然后根据概率选择行为。该算法将策略参数化，将累积回报的期望值作为目标函数，并通过梯度策略法求解目标函数的最优解。目标函数定义如下。
$$J(\theta )=E(G_t|{\pi }_{\theta })$$

3 深度强化学习

3.1 深度强化学习概述及分类

深度学习通过学习深层的非线性网络结构和数据集的本质特征，实现函数的逼近。智能体在与环境交互的过程中，利用强化学习通过不断试错和最大化累积奖励来生成最优的行为策略。

3.2 典型深度强化学习算法

3.2.1 深度 Q 网络算法

有效地解决了 Q 学习算法计算效率低和数据内存受限的问题。

双网络结构打破了数据之间的相关性，使得 DQN 算法具有更好的泛化性。
经验回放部分储存了智能体历史行为信息，打破了经验池中数据相关性和非静态分布问题。

3.2.2 演员―评论家算法

3.2.3 深度确定性策略梯度算法

1. DDPG

评论家模块采用时序差分误差（temporal difference error，TD-error）的方式更新网络参数$\omega$，并且定期复制 $\omega$ 到目标网络。演员模块采用 DPG 算法的方式更新网络参数$\theta$，并且行为策略根据其策略网络的输出结果来选择动作作用于环境。

优点：DDPG 算法与 DQN 算法、AC算法相比具有良好的稳定性，而且能够处理连续动作空间任务。
缺点：对超参数的变化很敏感，需要经过长时间的参数微调才能实现较好的算法性能，而且评论家的 Q 函数存在高估 Q 值的问题，会导致行为策略学习不充分，收敛到非最优状态。

Silver D, Lever G, Heess N, et al. Deterministic policy gradient algorithms[J]. Proceedings of Machine Learning Research, 2014, 32(1): 387-395.

2. TD3

1. 采用双 Q 网络的方式解决了评论家中 Q 函数高估 Q 值的问题；
2. 通过延迟演员的策略更新使得演员的训练更加稳定；
3. 利用目标策略平滑化的方法在演员的目标网络计算 Q 值的过程中加入噪声，使网络准确且鲁棒性强。

Fujimoto S, van Hoof H, Meger D. Addressing function approximation error in actor-critic methods[DB/OL]. (2018-10-22) [2021-04-02]. https://arxiv.org/abs/1802.09477.

3. MA-BDDPG

将 DDPG 算法中的经验池分为传统经验池和想像经验池；
想像经验池数据来自动力学模型生成的随机想像转换；
训练前，智能体计算当前状态行为序列 Q 值的不确定性，Q 值的不确定性越大，则智能体从想像经验池中采集数据的概率越大。
该方法通过扩充训练数据集显著加快了训练速度。

Kalweit G, Boedecker J. Uncertainty-driven imagination for continuous deep reinforcement learning[J]. Proceedings of Machine Learning Research, 2017, 78: 195-206.

3.2.4 信赖域策略优化算法

1. TRPO

策略梯度算法中，神经网络直接输出策略函数，根据状态选择动作，其回报函数定义如下。
$$\eta (\hat{\pi })=E_{\tau |\widehat{pi}}[\sum _{t=0}^{\infty }{\gamma }^t(r(s_t))]$$
在 TRPO 算法中，回报函数定义为旧策略与新旧策略回报差之和。
$$\{\begin{array}{ll}\eta (\hat{\pi })& =\eta (\pi )+E_{\tau |\widehat{pi}}[{\sum }_{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]\\ A_{\pi }(s,a)& =Q_{\pi }(s,a)-V_{\pi }(s)\end{array}$$
最终优化式如下。
$$\{\begin{array}{l}{\mathbf{max}}_{\theta }E[\frac{{\pi }_{\theta }(a|s_n)}{{\pi }_{{\theta }_{old}}}(a|s_n)A_{{\theta }_{old}}(s,a)]\\ s.t.D_{KL}^{max}({\theta }_{old},\theta )\le \delta \end{array}$$

优点：保证了策略优化过程中性能渐进提高。
缺点：其计算量较大，并且策略与值函数之间参数不共享。

Schulman J, Levine S, Abbeel P, et al. Trust region policy optimization[J]. Proceedings of Machine Learning Research, 2015, 37: 1889-1897.

2. PPO

重要性采样机制重复利用样本数据，提高了样本效率，限制了采样网络和训练网络的分布相差程度。
PPO 算法在目标函数中增加剪切项，将策略更新限制在规定区间内。

Schulman J, Wolski F, Dhariwal P, et al. Proximal policy optimization algorithms[DB/OL]. (2017-08-28) [2021-04-02]. https://arxiv.org/abs/1707.06347.

3. ME-TRPO

集成神经网络解决环境中数据不稳定性的问题；
并交替进行模型学习和策略学习，增加适应性；

Kurutach T, Clavera I, Duan Y, et al. Model-ensemble trust-region policy optimization[DB/OL]. (2018-10-05) [2021-04-02]. https://arxiv.org/abs/1802.10592.

4. SLBO

使用 L2 范数损失函数训练动力学模型;
SLBO 算法在多项 MuJoCo 仿真器任务中的性能优于 SAC 算法、TRPO 算法等

Luo Y, Xu H, Li Y, et al. Algorithmic framework for model-based deep reinforcement learning with theoretical guarantees[DB/OL]. (2021-02-15) [2021-04-02]. https://arxiv.org/abs/1807.03858.

3.2.5 其他深度强化学习算法

4 深度强化学习在机器人操作中的应用

传统机器人操作研究的局限性表现如下。

1. 动态环境具有不可预测性；
2. 机器人仅在固定位置完成任务且不具备自主学习的能力；
3. 机器人技术开发时间长等；

基于视觉的机器人操作系统是从图像中提取视觉特征信息来控制机器人运动，直接根据输入信息，输出机器人的行为。

4.1 刚性目标和非刚性目标

机器人操作刚性物体时，物体不会发生形变或者形变可忽略不计。
机器人操作非刚性物体会导致结构发生变化，非刚性物体的精确建模异常困难。

4.1.1 刚性目标

基于视觉的抓取流程主要分为 3 个阶段：感知、规划和行动。

针对模型对未知环境适应性差的问题，不同学者提出了如下模型。

针对机器人操作刚性物体的情形
开展研究。

4.1.2 非刚性目标

Lin 等提出的处理可变形对象的开源模拟基准 SoftGym 为非刚体的研究提供了便利。

Lin X, Wang Y, Olkin J, et al. SoftGym: Benchmarking deep reinforcement learning for deformable object manipulation[DB/OL]. (2021-03-08) [2021-04-02]. https://arxiv.org/abs/2011.07215.

现如今机器人模拟器中缺乏对非刚性物体的精确模型，导致非刚体的操作研究并不广泛，因此基于深度强化学习的非刚体操作任务的研究亟待解决。

4.2 模拟训练和真实训练

但由于领域差异，仅用模拟环境下的数据集训练的模型不能保证实体机器人正常工作。

4.2.1 模拟训练

• James 等提出随机化到规范化的适应网络，不使用现实世界数据克服视觉现实差异。
  将该训练模型转移到真实世界中，实现了 70% 的未知物体抓取成功率。
• Hundt 等设计了 SPOT（schedule for positivetask）框架，直接在真实机器人上加载模拟训练的模型，而无需进行额外的实际微调。
• Pedersen等利用 CycleGAN 算法缩小模拟环境和真实环境的差距。

Pedersen O M, Misimi E, Chaumette F. Grasping unknown objects by coupling deep reinforcement learning, generative adversarial networks, and visual servoing[C]//IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2020: 5655-5662.

4.2.2 真实训练

4.3 稀疏奖励和塑性奖励

4.3.1 稀疏奖励

Zeng 等和Berscheid 等设计稀疏奖励函数。
奖励函数可以设计为机器人末端执行器和方块之间的距离函数，即塑性奖励函数。
仅通过视觉很难获得实验环境中方块的随机位置，因此在目标位置的动态变化情况下，采取稀疏奖励函数定义任务成功与否更为合适。

4.3.2 塑性奖励

4.4 示范和次优示范

模仿学习（imitation learning，IL）和深度强化学习的融合方法利用示范数据提高了机器人的自学能力和学习速率。
要采取合适的措施优化可能存在的次优数据。

4.4.1 示范

4.4.2 次优示范

• Xiang 等提出将任务奖励和目标导向奖励相结合的方法，并利用少量不完美的专家演示进行训练指导
  形成的 AC 算法相对于部分基准深度强化学习算法具有更高的采样效率，大大降低了样本复杂度。
• Mandlekar等提出了新型框架 IRIS（implicit reinforcement without interaction at scale），其中包括目标低层控制器和高层目标选择机制。
  目标低层控制器模仿了简短的演示序列；
  高层目标选择机制为目标低层控制器选择目标并有选择性地组合部分次优示范；
• Gao 等提出了统一的强化学习规范算法，归一化演员―评论家（normalized actor-critic，NAC）。
  NAC 算法有效地规范化了动作价值函数，降低了示范数据中不存在的动作价值，对次优数据具有很强的鲁棒性。
• Brown 等设计了一种从次优示范中学习奖励功能的 T-REX（trajectory-ranked reward extrapolation），并且效果优于专家示范。

4.5 元强化学习

元强化学习的本质是利用少量样本数据微调模型以使行为策略匹配新环境和新任务。
其原理是将基础强化学习方法中手动设定的超参数设定为元参数，然后学习和调整元参数以指导底层强化学习。

5 挑战和未来展望

几乎没有机器人操作问题可以被严格地定义为马尔可夫决策过程，而是表现为部分可观性和非平稳性，这是实验效果并不如预期的原因之一。

1. 非刚性物体难以被精确建模。
   针对此挑战，设计多指灵巧机械手和开发非刚性物体的开源模拟平台可能成为机器人操作柔性物体的有效解决方法。
   具体而言，多指灵巧机械手的手指可以相互配合，类似于人类手指，并且每个手指可以单独动作。
2. 模型难以从模拟环境迁移到真实环境。
   根据实验需求，将二者的领域差异因素加入到模拟环境中，可使行为策略具备更强的鲁棒性。
   从动力学角度加入真实场景中的摩擦力、光照、噪声等干扰因素。
3. 不同环境不同任务间模型可移植性差。
   元强化学习、多任务学习。
4. 人为设计的奖励函数难以评价多步操作任务。
   逆强化学习可以指导机器人根据已知的行为策略学习奖励函数，一定程度上可为操作算法提供思路。
   求以自我监督的方式估算任务奖励或者人为辅助奖励。
5. 机器人采样效率低、学习速率慢。
   模仿学习与强化学习的结合可以提高机器人学习速率。
   专家示范方法存在对示范者要求高和成本大的问题。
   通过深度强化学习指导机器人自动生成行为示例，以此作为示范数据，丰富机器人的数据集。

6 结论