Skip to main content
 首页 » 编程设计

python之OpenAI Gym 自定义环境 : Discrete observation space with real values

2024年11月24日11sky-heaven

我想创建具有离散状态空间但具有浮点值的自定义 openai 健身房环境。更准确地说,它应该是一个步长为 0.25 的值范围: 10.0, 10.25, 10.5, 10.75, 11.0, ..., 19.75, 20.0

有没有办法在 openai gym 自定义环境中使用 Discrete、Box、MultiDiscrete 或其他一些空间来做到这一点? Discrete 需要一个整数,而 Box 似乎没有某种 step 参数。

请您参考如下方法:

您可以使用 np.linspace 实现您自己的空间(考虑例如 spaces.Box 作为指导):

from gym.spaces.space import Space 
import numpy as np 
 
class Incremental(Space): 
    def __init__(self, start, stop, num, **kwargs): 
        self.values = np.linspace(start, stop, num, **kwargs) 
        super().__init__(self.values.shape, self.values.dtype) 
 
    def sample(self): 
        return np.random.choice(self.values) 
 
    def contains(self, x): 
        return x in self.values 
 
space = Incremental(10, 20, 41)