深度强化学习系列: OpenAI-baselines的使用方法

关注

原创最新推荐文章于 2026-09-20 15:36:21 发布 1.6w 阅读 AI 写同款· GEO 优化 ›

（9-4）基于深度强化学习的量化交易策略（OpenAI Baselines +FinRL+DRL+PyPortfolioOpt）：构建交易环境在SB3中使用的向量化环境，主要是通过类DummyVecEnv实现。这种环境的向量化可以带来训练速度的显著提升，特别是在使用深度学习模型进行训练时，因为模型的计算可以在多个环境之间并行进行。通过使用get_sb_env()方法，原始的股票交易环境被包装成了Stable-Baselines3库中的向量化环境，以便与该库中的强化学习算法进行集成。在上述代码中，print(type(env_train))语句用于打印输出env_train的类型，以确认其为Stable-Baselines3中的环境类型。阅读详情

OpenAI，由诸多硅谷大亨联合建立的人工智能非营利组织。2015年马斯克与其他硅谷科技大亨进行连续对话后，决定共同创建OpenAI，希望能够预防人工智能的灾难性影响，推动人工智能发挥积极作用

OpenAI、DeepMind，伯克利三个可以说是强化学习的推动者，其中OpenAI 为很多算法都写了baselines。本文讲开始运行例子，以A2C算法为例子（具体a2c算法原理后续讲解）：

首先就是安装gym环境，具体直接参考OpenAI的github： https://github.com/openai/gym
本文使用了Atari游戏，那么在gym中需要安装，不然有的游戏可能不会默认安装：

pip install -e '.[atari]'

这是原话：The Atari environments are a variety of Atari video games. If you didn’t do the full install, you can install dependencies via pip install -e ‘.[atari]’ (you’ll need cmake installed) and then get started as follow:

import gym
env = gym.make('SpaceInvaders-v0')
env.reset()
env.render()

下一步就是clone baselines的仓库了：

git clone https://github.com/openai/baselines.git

然后进入目录进行运行：

目录如下：
total 48
drwxrwxr-x  6 jqw  jqw  4096 Jun  8 16:50 .
drwxrwxr-x  3 jqw  jqw  4096 Jun  7 11:07 ..
drwxrwxr-x 15 jqw  jqw  4096 Jun  8 19:42 baselines
drwxr-xr-x  2 root root 4096 Jun  8 16:50 baselines.egg-info
drwxrwxr-x  2 jqw  jqw  4096 Jun  7 11:08 data
-rw-rw-r--  1 jqw  jqw   504 Jun  7 11:08 Dockerfile
drwxrwxr-x  8 jqw  jqw  4096 Jun  7 11:08 .git
-rw-rw-r--  1 jqw  jqw   285 Jun  7 11:08 .gitignore
-rw-rw-r--  1 jqw  jqw  1087 Jun  7 11:08 LICENSE
-rw-rw-r--  1 jqw  jqw  3417 Jun  7 11:08 README.md
-rw-rw-r--  1 jqw  jqw   957 Jun  7 11:08 setup.py
-rw-rw-r--  1 jqw  jqw   224 Jun  7 11:08 .travis.yml