我创建了一个自定义的 openai gym 环境,它具有离散的 Action 空间和稍微复杂的状态空间。状态空间被定义为元组,因为它结合了一些连续的维度和其他离散的维度:
import gym
from gym import spaces
class CustomEnv(gym.Env):
def __init__(self):
self.action_space = spaces.Discrete(3)
self.observation_space = spaces.Tuple((spaces.Discrete(16),
spaces.Discrete(2),
spaces.Box(0,20000,shape=(1,)),
spaces.Box(0,1000,shape=(1,)))
...
我有幸使用 keras-rl 训练了一个代理,特别是 DQNAgent,但是 keras-rl 的支持不足,而且文档也很少。对于可以处理此类观察空间的 RL 包有什么建议吗? openai baselines 和 stable-baselines 目前似乎都无法处理它。
或者,是否有其他方法可以定义我的状态空间,以使我的环境适合这些定义更明确的包之一?
请您参考如下方法:
您可能想尝试 rllib,它是 ray 中的一个强化学习包,它在加州大学伯克利分校得到了扩展。
https://rise.cs.berkeley.edu/projects/ray/
它包括很多已实现的算法:
而且它很容易使用。您只需要添加您的环境,该环境在以下位置得到了充分解释: https://ray.readthedocs.io/en/latest/rllib-env.html
