Skip to main content
 首页 » 编程设计

循环中的 Python 动态子集

2024年12月31日7zfyouxi

我有以下数据框。一列中有多个县名,表格中有日期和值。经济衰退前的最大值是特定县在特定时间范围内的某个最大值(因为并非每个县都立即经历了相同的值下降)。我需要找出行唯一的最小日期与值反弹的日期之间的时间(当具有最小值的列之后的下一列中的值等于或高于经济衰退前的最大值时)。

我是 Python 新手,stackoverflow 新手,花了一个星期在网上研究没有成功。

Dataframe

Final result

如果 df 中的所有值都高于 51000,下面的代码可以工作并评估它们。问题是:如何动态地对 df 进行子集化?谢谢。

df 
revcols = df.columns.values.tolist() 
revcols.reverse() 
tmpdf=tmpdf= df>51000 
final=tmpdf[tmpdf.any(axis=1)].idxmax(axis=1) 
final 

请您参考如下方法:

使用:

df = df.set_index(['County','Prerecession Max Value']) 
 
a = df.idxmin(axis=1) 
m1 = df.eq(df.min(axis=1), axis=0).cumsum(axis=1).gt(0) 
m2 = df.sub(df.index.get_level_values(1), axis=0).ge(0) 
b = (m1 & m2).idxmax(axis=1) 
 
d = {'Date of Min': a, 'Date of Max':b} 
df = df.assign(**d).reset_index() 
print (df) 
     County  Prerecession Max Value   2007   2008   2009   2010   2011   2012  \ 
0  County 1                  100000  90000  81000  72900  65610  70000  80000    
1  County 2                   20000  18000  16000  21000  22000  23000  24000    
2  County 3                   10000   9000   8100   7290   6561   5905   6405    
3  County 4                    6000   6000   4860   4374   4474   4574   6001    
 
    2013    2014    2015 Date of Min Date of Max   
0  90000  100000  110000        2010        2014   
1  25000   26000   27000        2008        2009   
2   6905   12405   13405        2011        2014   
3   7000    7500    7900        2009        2012  

设置:(将 2007 列的最后一个值更改为 6000,以便在最小年份值之后进行测试匹配)

import pandas as pd 
 
temp=u""" 
County;Prerecession Max Value;2007;2008;2009;2010;2011;2012;2013;2014;2015 
County 1;100,000;90,000;81,000;72,900;65,610;70,000;80,000;90,000;100,000;110,000 
County 2;20,000;18,000;16,000;21,000;22,000;23,000;24,000;25,000;26,000;27,000 
County 3;10,000;9,000;8,100;7,290;6,561;5,905;6,405;6,905;12,405;13,405 
County 4;6,000;6,000;4,860;4,374;4,474;4,574;6,001;7,000;7,500;7,900""" 
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv' 
df = pd.read_csv(pd.compat.StringIO(temp), sep=";", thousands=',') 
print (df) 
     County  Prerecession Max Value   2007   2008   2009   2010   2011   2012  \ 
0  County 1                  100000  90000  81000  72900  65610  70000  80000    
1  County 2                   20000  18000  16000  21000  22000  23000  24000    
2  County 3                   10000   9000   8100   7290   6561   5905   6405    
3  County 4                    6000   6000   4860   4374   4474   4574   6001    
 
    2013    2014    2015   
0  90000  100000  110000   
1  25000   26000   27000   
2   6905   12405   13405   
3   7000    7500    7900   

解释:

首先通过 DataFrame.set_index 创建没有日期列的 MultiIndex :

df = df.set_index(['County','Prerecession Max Value']) 
print (df) 
                                  2007   2008   2009   2010   2011   2012  \ 
County   Prerecession Max Value                                              
County 1 100000                  90000  81000  72900  65610  70000  80000    
County 2 20000                   18000  16000  21000  22000  23000  24000    
County 3 10000                    9000   8100   7290   6561   5905   6405    
County 4 6000                     6000   4860   4374   4474   4574   6001    
 
                                  2013    2014    2015   
County   Prerecession Max Value                          
County 1 100000                  90000  100000  110000   
County 2 20000                   25000   26000   27000   
County 3 10000                    6905   12405   13405   
County 4 6000                     7000    7500    7900   

对于最小日期使用 DataFrame.idxmin :

print (df.idxmin(axis=1)) 
County    Prerecession Max Value 
County 1  100000                    2010 
County 2  20000                     2008 
County 3  10000                     2011 
County 4  6000                      2009 
dtype: object 

然后需要在每行最小值之后过滤所有值 - 首先按 min 值比较 DataFrame.eq :

print (df.eq(df.min(axis=1), axis=0)) 
 
                                  2007   2008   2009   2010   2011   2012  \ 
County   Prerecession Max Value                                              
County 1 100000                  False  False  False   True  False  False    
County 2 20000                   False   True  False  False  False  False    
County 3 10000                   False  False  False  False   True  False    
County 4 6000                    False  False   True  False  False  False    
 
                                  2013   2014   2015   
County   Prerecession Max Value                        
County 1 100000                  False  False  False   
County 2 20000                   False  False  False   
County 3 10000                   False  False  False   
County 4 6000                    False  False  False   

使用 DataFrame.cumsum 的每行累计和

print (df.eq(df.min(axis=1), axis=0).cumsum(axis=1)) 
                                 2007  2008  2009  2010  2011  2012  2013  \ 
County   Prerecession Max Value                                              
County 1 100000                     0     0     0     1     1     1     1    
County 2 20000                      0     1     1     1     1     1     1    
County 3 10000                      0     0     0     0     1     1     1    
County 4 6000                       0     0     1     1     1     1     1    
 
                                 2014  2015   
County   Prerecession Max Value               
County 1 100000                     1     1   
County 2 20000                      1     1   
County 3 10000                      1     1   
County 4 6000                       1     1   

并通过 DataFrame.gt 进行比较:

print (df.eq(df.min(axis=1), axis=0).cumsum(axis=1).gt(0)) 
                                  2007   2008   2009   2010  2011  2012  2013  \ 
County   Prerecession Max Value                                                  
County 1 100000                  False  False  False   True  True  True  True    
County 2 20000                   False   True   True   True  True  True  True    
County 3 10000                   False  False  False  False  True  True  True    
County 4 6000                    False  False   True   True  True  True  True    
 
                                 2014  2015   
County   Prerecession Max Value               
County 1 100000                  True  True   
County 2 20000                   True  True   
County 3 10000                   True  True   
County 4 6000                    True  True   

然后创建另一个掩码 - 减去由 Index.get_level_values 选择的第二级 MultiIndex和 DataFrame.sub :

print (df.index.get_level_values(1)) 
Int64Index([100000, 20000, 10000, 6000],  
           dtype='int64', name='Prerecession Max Value') 
 
print (df.sub(df.index.get_level_values(1), axis=0)) 
                                  2007   2008   2009   2010   2011   2012  \ 
County   Prerecession Max Value                                              
County 1 100000                 -10000 -19000 -27100 -34390 -30000 -20000    
County 2 20000                   -2000  -4000   1000   2000   3000   4000    
County 3 10000                   -1000  -1900  -2710  -3439  -4095  -3595    
County 4 6000                        0  -1140  -1626  -1526  -1426      1    
 
                                  2013  2014   2015   
County   Prerecession Max Value                       
County 1 100000                 -10000     0  10000   
County 2 20000                    5000  6000   7000   
County 3 10000                   -3095  2405   3405   
County 4 6000                     1000  1500   1900   

然后用DataFrame.ge比较对于 >= 和 0:

print (df.sub(df.index.get_level_values(1), axis=0).ge(0)) 
                                  2007   2008   2009   2010   2011   2012  \ 
County   Prerecession Max Value                                              
County 1 100000                  False  False  False  False  False  False    
County 2 20000                   False  False   True   True   True   True    
County 3 10000                   False  False  False  False  False  False    
County 4 6000                    True   False  False  False  False   True    
 
                                  2013  2014  2015   
County   Prerecession Max Value                      
County 1 100000                  False  True  True   
County 2 20000                    True  True  True   
County 3 10000                   False  True  True   
County 4 6000                     True  True  True  

通过 & 为 AND 链接两个 bool 掩码,并通过 DataFrame.idxmax 获取每行第一个 True 的列名:

print ((m1 & m2)) 
                                  2007   2008   2009   2010   2011   2012  \ 
County   Prerecession Max Value                                              
County 1 100000                  False  False  False  False  False  False    
County 2 20000                   False  False   True   True   True   True    
County 3 10000                   False  False  False  False  False  False    
County 4 6000                    False  False  False  False  False   True    
 
                                  2013  2014  2015   
County   Prerecession Max Value                      
County 1 100000                  False  True  True   
County 2 20000                    True  True  True   
County 3 10000                   False  True  True   
County 4 6000                     True  True  True   
 
print ((m1 & m2).idxmax(axis=1)) 
County    Prerecession Max Value 
County 1  100000                    2014 
County 2  20000                     2009 
County 3  10000                     2014 
County 4  6000                      2012 
dtype: object 

为 assign 创建新列的字典:

d = {'Date of Min': a, 'Date of Max':b} 
df = df.assign(**d) 
print (df) 
                                  2007   2008   2009   2010   2011   2012  \ 
County   Prerecession Max Value                                              
County 1 100000                  90000  81000  72900  65610  70000  80000    
County 2 20000                   18000  16000  21000  22000  23000  24000    
County 3 10000                    9000   8100   7290   6561   5905   6405    
County 4 6000                     6000   4860   4374   4474   4574   6001    
 
                                  2013    2014    2015 Date of Min Date of Max   
County   Prerecession Max Value                                                  
County 1 100000                  90000  100000  110000        2010        2014   
County 2 20000                   25000   26000   27000        2008        2009   
County 3 10000                    6905   12405   13405        2011        2014   
County 4 6000                     7000    7500    7900        2009        2012   

最后reset_index来自 MultiIndex 的列。