Pybulet Gym 源码解析：双足机器人模型 HumanoidPyBulletEnv-v0

草莓干 发表于 2020-12-30 20:17:29

本文来源于乐聚机器人王松博士：《Pybulet Gym 源码解析：双足机器人模型 HumanoidPyBulletEnv-v0》 OpenAI gym 是当前使用最为广泛的用于研究强化学习的工具箱，但 Gym 的物理仿真环境使用的是 Mujoco，不开源且收费，这一点一直被人诟病。而 Pybullet-gym 是对 Openai Gym Mujoco 环境的开源实现，用于替代 Mujoco 做为强化学习的仿真环境。封装了 Pybullet 的接口，无缝的接入了 Gym 环境。关于如何创建 Gym 自定义环境可以参考上一期极客专栏《OpenAI Gym 源码阅读：创建自定义强化学习环境》 <section style="border-bottom: 1px solid #ddd;margin: 0 auto 10px;"><p class="135brush" data-brushtype="text" style="padding: 0px 5px 6px; border-bottom-width: 2px; border-bottom-style: solid; border-bottom-color: rgb(239, 112, 96); display: inline-block; margin: 0px 0px -1px; font-weight: normal; line-height: 1.1; font-size: 18px;">示例代码</section>完整使用 HumanoidPyBulletEnv-v0 模型的示例代码，在 pybulletgym/examples/（https://github.com/benelot/pybullet-gym/tree/master/pybulletgym/examples）路径下可以找到。 当示例代码引入 Pybullet-gym 库时，就完成了对 Pybullet 自定义 Gym 环境的注册。根据 OpenAI Gym 的文档，下面是使用随机策略，调用 HumanoidPyBulletEnv-v0 的测试代码。 <section style="border-bottom: 1px solid #ddd;margin: 0 auto 10px;"><p class="135brush" data-brushtype="text" style="padding: 0px 5px 6px; border-bottom-width: 2px; border-bottom-style: solid; border-bottom-color: rgb(239, 112, 96); display: inline-block; margin: 0px 0px -1px; font-weight: normal; line-height: 1.1; font-size: 18px;">动作与观测</section>首先查看 HumanoidPyBulletEnv-v0 运动空间和观测空间的维度大小 可知 HumanoidPyBulletEnv-v0 运动空间维度为 17，动作空间维度为 44。查看注册环境源码，可知 HumanoidPyBulletEnv-v0 入口类为 HumanoidBulletEnv 根据 HumanoidBulletEnv 初始化 __init__ 的参数，可知机器人实例由Humanoid() 构建，顺藤摸瓜，获得 HumanoidBulletEnv 运动空间维度的详细定义 执行 step 时，pybullet-gym 中使用力矩对机器人电机进行控制 接下来查看观测空间定义，状态观测是由 observation, reward, done, info = env.step(action) 获得，因此查看源码 walker_base_env.py 可知状态计算方式 大致包含机器人的离地面高度、机器人欧拉角、各个关节相对位置、足底是否触地等状态。状态维度为一共为 46，详细的定义，以及为什么这么定义的原因未知，参见这条 issue 的讨论 openai/gym/issues/585（https://github.com/openai/gym/issues/585），看来 OpenAI 被戏称为 CloseAI 是有原因的。done 根据机器人的高度和偏航角来判断机器人是否摔倒，回合是否结束 <section style="border-bottom: 1px solid #ddd;margin: 0 auto 10px;"><p class="135brush" data-brushtype="text" style="padding: 0px 5px 6px; border-bottom-width: 2px; border-bottom-style: solid; border-bottom-color: rgb(239, 112, 96); display: inline-block; margin: 0px 0px -1px; font-weight: normal; line-height: 1.1; font-size: 18px;">奖励函数</section>对于强化学习问题，最为重要的就是奖励函数的设计，直接关乎训练后 Agent 的行为是否符合预期。HumanoidPyBulletEnv-v0 的奖励由下面几部分构成 <ul class=" list-paddingleft-2" style="padding: 0px 0px 0px 2.2em; max-width: 100%; color: rgb(51, 51, 51); font-family: -apple-system-font, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Hiragino Sans GB, Microsoft YaHei UI, Microsoft YaHei, Arial, sans-serif; letter-spacing: 0.544px; text-align: justify; white-space: normal; background-color: rgb(255, 255, 255); box-sizing: border-box !important; overflow-wrap: break-word !important;"><li><code style="margin: 0px 4px; padding: 3px 5px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word; font-family: Consolas, Monaco, courier, monospace; background: rgb(245, 245, 245); color: rgb(255, 64, 129); line-height: 1; font-size: 12px; border-width: 1px; border-style: solid; border-color: rgb(238, 238, 238); border-radius: 2px;">alive</code>: 判断机器人是否摔倒</li><li><code style="margin: 0px 4px; padding: 3px 5px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word; font-family: Consolas, Monaco, courier, monospace; background: rgb(245, 245, 245); color: rgb(255, 64, 129); line-height: 1; font-size: 12px; border-width: 1px; border-style: solid; border-color: rgb(238, 238, 238); border-radius: 2px;">progress</code>: 速度的差值</li><li><code style="margin: 0px 4px; padding: 3px 5px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word; font-family: Consolas, Monaco, courier, monospace; background: rgb(245, 245, 245); color: rgb(255, 64, 129); line-height: 1; font-size: 12px; border-width: 1px; border-style: solid; border-color: rgb(238, 238, 238); border-radius: 2px;">electricity_cost</code>: 控制的能量损耗，由扭矩和电机速度计算</li><li><code style="margin: 0px 4px; padding: 3px 5px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word; font-family: Consolas, Monaco, courier, monospace; background: rgb(245, 245, 245); color: rgb(255, 64, 129); line-height: 1; font-size: 12px; border-width: 1px; border-style: solid; border-color: rgb(238, 238, 238); border-radius: 2px;">joints_at_limit_cost</code>: 关节是否卡住</li><li><code style="margin: 0px 4px; padding: 3px 5px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word; font-family: Consolas, Monaco, courier, monospace; background: rgb(245, 245, 245); color: rgb(255, 64, 129); line-height: 1; font-size: 12px; border-width: 1px; border-style: solid; border-color: rgb(238, 238, 238); border-radius: 2px;">feet_collision_cost</code>：足底碰撞检测</li></ul> Pybullet-Gym 代码逻辑是很清晰，但是由于是移植的 roboschool 的 Humanoid 环境，很多 Agent 代码细节没有文档可以参考，官方的态度是我们只需要关心采用哪些强化学习算法去训练 Agent 就可以了，不需要关注 Agent 的实现细节。 但是如果要训练自定义的 Biped Robot Walk 的话就必须深入看 Gym 的底层代码实现，研究状态、运动、以及奖励函数的具体细节。 <section style="border-bottom: 1px solid #ddd;margin: 0 auto 10px;"><p class="135brush" data-brushtype="text" style="padding: 0px 5px 6px; border-bottom-width: 2px; border-bottom-style: solid; border-bottom-color: rgb(239, 112, 96); display: inline-block; margin: 0px 0px -1px; font-weight: normal; line-height: 1.1; font-size: 18px;">补充</section>Humanoid V1 Wiki 介绍（https://github.com/openai/gym/wiki/Humanoid-V1#observation） <section style="border-bottom: 1px solid #ddd;margin: 0 auto 10px;"><p class="135brush" data-brushtype="text" style="padding: 0px 5px 6px; border-bottom-width: 2px; border-bottom-style: solid; border-bottom-color: rgb(239, 112, 96); display: inline-block; margin: 0px 0px -1px; font-weight: normal; line-height: 1.1; font-size: 18px;">参考链接</section>https://github.com/openai/gym https://github.com/benelot/pybullet-gymOpenAI Gym 源码阅读:创建自定义强化学习环境欧拉中的俯仰、横滚、偏航（https://blog.csdn.net/guyubit/article/details/52995676） <link rel="stylesheet" href="//bbs.lejurobot.com/source/plugin/wcn_editor/public/wcn_editor_fit.css?v134_kKx" id="wcn_editor_css"/>

页: [1]

乐聚社区's Archiver

Pybulet Gym 源码解析：双足机器人模型 HumanoidPyBulletEnv-v0