OpenAI Gym 入门教程 - 乐聚社区

除了试图直接去建立一个可以模拟成人大脑的程序之外，为什么不试图建立一个可以模拟小孩大脑的程序呢?如果它接受适当的教育，就会获得成人的大脑。

— 阿兰·图灵

介绍

强化学习 (Reinforcement learning) 是机器学习的一个子领域用于制定决策和运动自由度控制。强化学习主要研究在复杂未知的环境中，智体(agent)实现某个目标。强化学习最引人入胜的两个特点是：

1. 强化学习非常通用，可以用来解决需要作出一些列决策的所有问题： 例如，训练机器人跑步和弹跳，制定商品价格和库存管理，玩 Atari 游戏和棋盘游戏等等。

2. 强化学习已经可以在许多复杂的环境中取得较好的实验结果：例如 Deep RL 的 Alpha Go等。

上传

点击文件名下载附件

运行效果

(, 下载次数: 258)

上传

点击文件名下载附件

至此，第一个 Hello world 就算正式地跑起来了！

观测(Observations)

在第一个小栗子中，使用了 env.step() 函数来对每一步进行仿真，在 Gym 中，env.step() 会返回 4 个参数：

观测 Observation (Object)：当前 step 执行后，环境的观测(类型为对象)。例如，从相机获取的像素点，机器人各个关节的角度或棋盘游戏当前的状态等；
奖励 Reward (Float): 执行上一步动作(action)后，智体(agent)获得的奖励(浮点类型)，不同的环境中奖励值变化范围也不相同，但是强化学习的目标就是使得总奖励值最大；
完成 Done (Boolen): 表示是否需要将环境重置 env.reset。大多数情况下，当 Done 为True 时，就表明当前回合(episode)或者试验(tial)结束。例如当机器人摔倒或者掉出台面，就应当终止当前回合进行重置(reset);
信息 Info (Dict): 针对调试过程的诊断信息。在标准的智体仿真评估当中不会使用到这个 info，具体用到的时候再说。

总结来说，这就是一个强化学习的基本流程，在每个时间点上，智体执行 action，环境返回上一次 action 的观测和奖励，用图表示为

(, 下载次数: 256)

上传

点击文件名下载附件

在 Gym 仿真中，每一次回合开始，需要先执行 reset() 函数，返回初始观测信息，然后根据标志位 done 的状态，来决定是否进行下一次回合。代码表示为

(, 下载次数: 285)

上传

点击文件名下载附件

仿真截图如下：

(, 下载次数: 284)

上传

点击文件名下载附件

每次 action 前，将上一次 observation 打印，可以得到打印日志如下

(, 下载次数: 267)

上传

点击文件名下载附件

空间（Spaces）

在前面的两个小栗子中，每次执行的动作(action)都是从环境动作空间中随机进行选取的，但是这些动作 (action) 是什么?在 Gym 的仿真环境中，有运动间 action_space 和观测空间observation_space 两个指标，程序中被定义为 Space类型，用于描述有效的运动和观测的格式和范围。下面是一个代码示例:

(, 下载次数: 249)

上传

点击文件名下载附件

从程序运行结果来看

· action_space 是一个离散 Discrete 类型，从 discrete.py 源码可知，范围是一个{0,1,...,n-1} 长度为 n 的非负整数集合，在 CartPole-v0 例子中，动作空间表示为{0,1}。

· observation_space 是一个 Box 类型，从 box.py 源码可知，表示一个 n 维的盒子，所以在上一节打印出来的 observation 是一个长度为 4 的数组。数组中的每个元素都具有上下界。

(, 下载次数: 226)

上传

点击文件名下载附件

利用运动空间和观测空间的定义和范围，可以将代码写得更加通用。在许多仿真环境中，Box 和Discrete 是最常见的空间描述，在智体每次执行动作时，都属于这些空间范围内，代码示例为：

(, 下载次数: 253)