在我正在生成的模型的上下文中,我有时需要从一组实数生成概率分布。我将省略相关细节,但本质上有一个函数(我们暂时称它为“f”),它生成一个包含 n 个 float 的数组:
arr = [value_1, value_2, ..., value_n]
现在,这些值与我接下来需要在多项式抽样过程中使用的概率成比例,所以显而易见的方法就是这样:
result = np.random.multinomial(number_of_samples,arr/arr.sum())
但这(有时)不起作用!基本上 arr/arr.sum() 的总和最终大于 1。原则上这在数学上应该是不可能的,但我假设这归结为浮点精度问题。这是如何发生这种情况的一个简单示例:
In [58]: arr = np.array([1/20.]*20)
In [59]: arr/arr.sum()
Out[59]:
array([ 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05,
0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05,
0.05, 0.05])
In [60]: (arr/arr.sum()).sum()
Out[60]: 1.0000000000000002
长话短说,我的问题是如何最好地处理这个问题。我可以通过简单地在总和上加一个非常小的数字来作弊,即:
probs = arr / (arr.sum()+0.000001)
但这真的很骇人听闻,我担心它可能会引入更多不需要的精度问题。有更好的解决方案吗?
请您参考如下方法:
从阅读开始 https://docs.python.org/2/tutorial/floatingpoint.html
简而言之, float 不能真正表示 0.05。效果微乎其微:
>>> repr(1/20.)
'0.05'
>>> repr(sum([1/20.]*20))
'1.0000000000000002'
正确的解决方案是为每个数学运算定义所需的精度,计算每一步的舍入误差并在必要时进行相应舍入。
在您的情况下,您可以四舍五入到 5 位数字,因为您只添加了几个数字。
>>> repr(round(sum([1/20.]*20),5))
'1.0'
但是对于需要正确的更复杂的计算,您将不得不进行错误评估。
