Skip to main content
 首页 » 编程设计

python之通过 scipy.stats.fit() 从 MLE 中检索优化结果

2025年01月19日9mfryf

我正在尝试通过 scipy.stats."some_dist".fit() 来估计不同分布的参数,而且我在检索有关正在使用的优化过程的任何信息时遇到了极大的困难。具体来说,我正在寻找大多数实现算法输出的 Hessian,如记录 here .

对于所有优化,SciPy 返回一个名为 OptimizeResult 的对象,其中包含有用的信息,例如 Hessian,那么如何在 .fit() 之后得到它'正在处理一些数据,这会调用相同的优化?

请您参考如下方法:

看起来有点像source-diving是需要的;幸运的是,它不需要复制大量源代码。这就是基本配合的工作原理:

from scipy.stats import cauchy 
data = [0, 3, 4, 4, 5, 9] 
res = cauchy.fit(data)   # (3.9798237305661255, 0.9205374643383732) 

这是它被修改以返回 OptimizeResult 的方式:

from scipy.optimize import minimize 
args = cauchy._fitstart(data) 
x0, func, restore, args = cauchy._reduce_func(args, {}) 
res = minimize(func, x0, args=(data,), method='BFGS') 

现在 res 是

      fun: 14.337039523098689 
 hess_inv: array([[ 0.23321703, -0.0117229 ], 
       [-0.0117229 ,  0.36807373]]) 
      jac: array([ 0.0000000e+00, -1.1920929e-07]) 
  message: 'Optimization terminated successfully.' 
     nfev: 32 
      nit: 5 
     njev: 8 
   status: 0 
  success: True 
        x: array([3.9798262 , 0.92055376]) 

您可能会在其中将参数识别为 res.x。被最小化的函数是“penalized NNLF”(非负似然函数)。


顺便说一下,

For all its optimizations, SciPy returns an object called OptimizeResult

是一种过度概括。这适用于 minimize 方法。 scipy.stats.fit 默认使用 fmin ,它不会返回这样的东西。

所以,如果想要与 fmin 相同的输出,可以安排,但那里不会有额外的信息。

from scipy.optimize import fmin 
args = cauchy._fitstart(data) 
x0, func, restore, args = cauchy._reduce_func(args, {}) 
res = fmin(func, x0, args=(data,)) 
print(tuple(res))   #(3.9798237305661255, 0.9205374643383732) 

将 minimize 与 method='Nelder-Mead' 结合使用具有本质上相同的效果。您确实获得了一些额外信息,但鉴于该方法是基于单纯形的(未计算导数),此信息的用途有限。

res = minimize(func, x0, args=(data,), method='Nelder-Mead') 
print(res) 
print(tuple(res.x)) 

打印

 final_simplex: (array([[3.97982373, 0.92053746], 
       [3.97983057, 0.92060317], 
       [3.97977536, 0.92059568]]), array([14.33703952, 14.33703953, 14.33703953])) 
           fun: 14.337039523477827 
       message: 'Optimization terminated successfully.' 
          nfev: 58 
           nit: 31 
        status: 0 
       success: True 
             x: array([3.97982373, 0.92053746]) 
(3.9798237305661255, 0.9205374643383732)