Skip to main content
 首页 » 编程设计

python之高效地对 pandas 列的多个子集进行回归分析

2025年01月19日9zfyouxi

我本可以选择一个更短的问题,只关注这里的核心问题,即列表排列。但我将 statsmodels 和 pandas 带入问题的原因是可能存在用于逐步回归的特定工具,同时具有存储所需的回归输出就像我将在下面向您展示的那样,但效率更高。至少我希望如此。


给定如下数据框:

代码片段 1:

# Imports 
import pandas as pd 
import numpy as np 
import itertools 
import statsmodels.api as sm 
 
# A datafrane with random numbers 
np.random.seed(123) 
rows = 12 
listVars= ['y','x1', 'x2', 'x3'] 
rng = pd.date_range('1/1/2017', periods=rows, freq='D') 
df_1 = pd.DataFrame(np.random.randint(100,150,size=(rows, len(listVars))), columns=listVars)  
df_1 = df_1.set_index(rng) 
 
print(df_1) 

屏幕截图 1:

我想使用自变量 x1、x2 和 x3 的多种组合对因变量 y 运行多个回归分析。换句话说,这是一个逐步回归分析,其中针对 x1 测试 y,然后依次测试 x2 和 x3。然后针对 x1 和 x2 的集合测试 y,依此类推:

  1. ['y', ['x1']]
  2. ['y', ['x2']]
  3. ['y', ['x3']]
  4. ['y', ['x1', 'x2']]
  5. ['y', ['x1', 'x2', 'x3']]

我的低效方法:

在下面的前两个片段中,我可以通过使用列表的列表对执行顺序进行硬编码来做到这一点。

这里是 listVars 的子集:

代码片段 2:

listExec = [[listVars[0], listVars[1:2]], 
       [listVars[0], listVars[2:3]], 
       [listVars[0], listVars[3:4]], 
       [listVars[0], listVars[1:3]], 
       [listVars[0], listVars[1:4]]] 
 
for l in listExec: 
    print(l) 

截图2:

使用 listExec,我可以设置一个回归分析程序,并将一堆结果(rsquared 或整个模型输出 mode.summary())存储在如下列表中:

代码片段 3:

allResults = [] 
for l in listExec: 
    x = listVars[1] 
    x = sm.add_constant(df_1[l[1]]) 
    model = sm.OLS(df_1[l[0]], x).fit()     
       result = model.rsquared 
    allResults.append(result) 

打印(所有结果)

截图 3:

这非常棒,但对于较长的变量列表来说效率极低。

我对列表组合的尝试:

遵循 How to generate all permutations of a list in Python 的建议和 Convert a list of tuples to a list of lists 我能够像这样设置所有变量的组合:

代码片段 4:

allTuples = list(itertools.permutations(listVars)) 
allCombos = [list(elem) for elem in allTuples] 

截图4:

这很有趣,但并没有给我所追求的逐步方法。不管怎样,我希望你们中的一些人觉得这很有趣。

感谢您的任何建议!

请您参考如下方法:

根据我得到的帮助here ,我已经能够将一个函数放在一起,该函数采用 pandas 数据框中的所有列,定义一个因变量,并返回其余变量的所有唯一组合。结果与上面定义的预期结果略有不同,但我认为在实际使用中更有意义。我仍然希望其他人能够发布更好的解决方案。

这里是:

# Imports 
import pandas as pd 
import numpy as np 
import itertools 
 
# A datafrane with random numbers 
np.random.seed(123) 
rows = 12 
listVars= ['y','x1', 'x2', 'x3'] 
rng = pd.date_range('1/1/2017', periods=rows, freq='D') 
df_1 = pd.DataFrame(np.random.randint(100,150,size=(rows, len(listVars))), columns=listVars)  
df_1 = df_1.set_index(rng) 
 
# The function 
def StepWise(columns, dependent): 
    """ Takes the columns of a pandas dataframe, defines a dependent variable 
        and returns all unique combinations of the remaining (independent) variables. 
 
    """ 
 
    independent = columns.copy() 
    independent.remove(dependent) 
 
    lst1 = [] 
    lst2 = [] 
    for i in np.arange(1, len(independent)+1): 
        #print(list(itertools.combinations(independent, i))) 
        elem = list(itertools.combinations(independent, i)) 
        lst1.append(elem) 
        lst2.extend(elem) 
 
    combosIndependent = [list(elem) for elem in lst2] 
    combosAll =  [[dependent, other] for other in combosIndependent] 
    return(combosAll) 
 
lExec = StepWise(columns = list(df_1), dependent = 'y') 
print(lExec) 

如果将其与上面的代码段 3 结合使用,您可以轻松地将多元回归分析的结果存储在 pandas 数据框中的指定因变量上。