Skip to main content
 首页 » 编程设计

python之用 pandas 向量化曲线拟合数据

2024年11月01日11kuangbin

我想加快数据帧的处理速度,其中数据帧中的每一行都是点(图像中的红点),并且我将每一行拟合为多项式(图像中的蓝点):

graphic

我的数据框看起来像这样:

0   21.357071   21.357071   NaN     29.240519   20.909416   23.884323   NaN     NaN     21.533360   19.145000   NaN 
1   29.373487   29.373487   NaN     32.593994   26.423960   29.623251   NaN     NaN     30.685534   29.297455   20.411913 
2   19.116655   19.116655   NaN     27.120478   18.723265   19.857676   NaN     NaN     20.249647   18.867172   NaN 

我已经用下面的代码做到了这一点:

for index,row in df.iterrows(): 
  dataR = row[:].dropna() 
 
  x = np.array(dataR.index).astype(float) #x = column index 
  y = dataR.values 
  y = np.vstack(y).astype(np.float).T[0]  #y = value 
 
  coefs = poly.polyfit(x, y, deg=4) 
  ffit = poly.polyval(np.arange(0,maxColumns,1), coefs) 
  df.loc[index,0:maxColumns] = ffit 

但是我的数据框很大,所以速度很慢。我想知道我是否可以矢量化这段代码。

请您参考如下方法:

由于看起来您正在独立处理每一行并执行曲线拟合,而不管其他行是什么样子,我认为您可以使用 joblib 简单地并行化代码。 , 所以你可以做

from joblib import Parallel, delayed 
 
function fit_curve(row): 
    dataR = row[:].dropna() 
    x = np.array(dataR.index).astype(float) 
    y = dataR.values 
    y = np.vstack(y).astype(np.float).T[0] 
    coefs = poly.polyfit(x, y, deg=4) 
    ffit = poly.polyval(np.arange(0,maxColumns,1), coefs) 
    return ffit 
 
fitted_curves = Parallel(n_jobs=N)(delayed(fit_curve)(row) for index, row in df.iterrows()) 
df.loc[:,:] = fitted_curves 

其中 N 是 worker 的数量,又名。您要为此使用的内核。