Skip to main content
 首页 » 编程设计

python之Pandas 中每一列的曲线拟合 + 外推值

2024年12月31日13fff_TT

我有一个包含大约 300 列的数据集,每一列都与深度有关。 Pandas DataFrame 的简化版本看起来像这样:

import matplotlib.pyplot as plt 
import numpy as np 
import pandas as pd 
from scipy_optimize import curve_fit 
 
df1 = pd.DataFrame({'depth': [1.65, 2.15, 2.65, 3.15, 3.65, 4.15, 4.65, 5.15, 5.65, 6.15, 6.65, 7.15, 7.65, 8.15, 8.65], 
               '400.0': [13.909261, 7.758734, 3.513627, 2.095409, 1.628918, 0.782643, 0.278548, 0.160153, -0.155895, -0.152373, -0.147820, -0.023997, 0.010729, 0.006050, 0.002356], 
               '401.0': [14.581624, 8.173803, 3.757856, 2.223524, 1.695623, 0.818065, 0.300235, 0.173674, -0.145402, -0.144456, -0.142969, -0.022471, 0.010802, 0.006181, 0.002641], 
               '402.0': [15.253988, 8.588872, 4.002085, 2.351638, 1.762327, 0.853486, 0.321922, 0.187195, -0.134910, -0.136539, -0.138118, -0.020945, 0.010875, 0.006313, 0.002927], 
               '403.0': [15.633908, 8.833914, 4.146499, 2.431543, 1.798185, 0.874350, 0.333470, 0.192128, -0.130119, -0.134795, -0.136049, -0.019307, 0.012037, 0.006674, 0.003002], 
               '404.0': [15.991816, 9.066159, 4.283401, 2.507818, 1.831721, 0.894119, 0.344256, 0.196415, -0.125758, -0.133516  , -0.134189, -0.017659, -0.013281,0.007053, 0.003061], 
               '405.0': [16.349725, 9.298403, 4.420303, 2.584094, 1.865257, 0.913887, 0.355041, 0.200702, -0.121396, -0.132237, -0.132330, -0.016012, 0.014525, 0.007433, 0.003120] 
               }) 

我需要做的是估计下面等式中的K。基本上每一列都对应于一个I(z) 配置文件。必须计算 I(0),为此我使用了 curve_fit,作为引用我正在使用这篇有用的帖子:https://stackoverflow.com/a/15369787/7541421

x = df1.depth       # Column values as a function of depth 
y = df1['400.0'] 
 
plt.plot(x, y, 'ro',label="Original Data") 
 
def func(def func(x, I0, k):     # a = I0, b = k 
    return I0 * np.exp(-k*x)     
 
popt, pcov = curve_fit(func, x, y) 
 
print ("E0 = %s , k = %s" % (popt[0], popt[1])) 
 
plt.plot(x, func(x, *popt), label="Fitted Curve") 

这是否可以分别针对每一列完成,并以某种方式保存为新的DataFrame?

此外,对于某些 dz 配额,新的 DataFrame 需要传播到 z=0 的值。在本例中,我的 depth 列中缺少 [0.15, 0.65, 1.15]。 因此,对于每个 z,我需要从函数的每一列获取 I(z)。

由于每个数据集在我的案例中都有不同的深度范围,我该如何自动化它?

附言或者,正如本文最初讨论的那样,可以应用对数转换线性回归拟合,解决方案写在下面的答案中。

请您参考如下方法:

在与本回答的主要作者交谈并征得他的同意后进行了一些更改。

首先,由于我们处理的是对数变换量,因此有必要找到对应于每列非负值的值范围。

negative_idx_aux = df_drop_depth.apply(lambda x:(x<0).nonzero()[0][:1].tolist())    
negative_idx = [item for sublist in negative_idx_aux for item in sublist] 
 
if len(negative_idx) > 0: 
    max_idx = max_idx = np.min(negative_idx) 
else: 
    max_idx = None 

与原来相比,我只合并循环以获得斜率和截距。

iz_cols = df1.columns.difference(['depth']) 
slp_int = {} 
for c in iz_cols: 
    slope, intercept, r_value, p_value, std_err = stats.linregress(df1['depth'][0:max_idx],np.log(df1[c][0:max_idx])) 
    slp_int[c] = [intercept, slope] 
 
slp_int = pd.DataFrame(, index = ['intercept', 'slope']) 

求幂截距为我们提供了 I 在表面的值:

slp_int.loc['intercept'] = np.exp(slp_int.loc['intercept']) 

由于对最终概念的误解,帖子的最后部分已得到更正。 现在重新创建数据框,表面深度的新值(高于 df1 的深度范围,保持 df1 低于值。

首先重新创建 z = 0 和深度列的最大值之间的整个范围,并分配一个 step 并将值保持在 z = 0:

depth = np.asarray(df1.depth) 
depth_min = np.min(depth)    ;    
depth_min_arr = np.array([depth_min]) 
step = 0.5 
missing_vals_aux = np.arange(depth_min - step, 0, -step)[::-1] 
missing_vals = np.concatenate(([0.], missing_vals_aux), axis=0) 
depth_tot = np.concatenate((missing_vals, depth), axis=0) 
 
df_boundary = pd.DataFrame(columns = iz_cols)  
df_up = pd.DataFrame(columns = iz_cols)  

创建一个包含向上传播的深度配额范围的数据框:

for c in iz_cols:  
    df_up[c]       = missing_vals 

用回归得到的参数填充数据:

upper_df = slp_int.loc['intercept']*np.exp(slp_int.loc['slope']*df_up) 
upper_df['depth'] = missing_vals 

合并 df1 和 upper_df 以获得完整的配置文件:

lower_df = df1 
lower_df['depth'] = depth 
 
df_profile_tot = upper_df.append(lower_df, ignore_index=True)