Skip to main content
 首页 » 编程设计

python之按多列将 csv 文件拆分为 Pandas 数据框

2025年02月15日8mengfanrong

我有一个包含多列的 tsv 文件。有 10 列和更多列,但对我来说重要的列是名称为 user_name、shift_id、url_id 的列。我想创建一个数据框,首先根据 user_names 将整个 csv 文件分开,即只有具有相同 user_name 的行被组合在一起。从那个 block 我制作另一个 block ,其中只有具有特定 shift_id 的行被分组在一起,然后从那个 block 制作一个具有相同 url 的 block 。不幸的是,由于公司规定,我无法共享数据,并且制作一个假想的数据表可能会更加困惑。

其他两列有时间戳。我想计算 block 的持续时间,但只有在我根据这些列对 block 进行分组之后。

我看到了按特定列值拆分数据框的答案,但在我的例子中,我有三个列值,它们的分隔顺序也很重要。

感谢您的帮助!

请您参考如下方法:

假设您将列读取到 dataframe

df = pd.DataFrame({'col1':[1,2,3], 'col2':[4,5,6],'col3':[7,8,9], 
               'col4':[1,2,3],'col5':[1,2,3],'col6':[1,2,3], 
               'col7':[1,2,3],'col8':[1,2,3],'col9':[1,2,3], 
               'col91':[1,2,3]}) 
print(df) 

输出:

     col1  col2  col3  col4  col5  col6  col7  col8  col9  col91 
0     1     4     7     1     1     1     1     1     1      1 
1     2     5     8     2     2     2     2     2     2      2 
2     3     6     9     3     3     3     3     3     3      3 

现在,我们只能选择三个感兴趣的列,设为 col1、col2 和 col3

tmp_df = df[['col1', 'col2', 'col3']] 
print(tmp_df) 

输出:

     col1  col2  col3 
0     1     4     7 
1     2     5     8 
2     3     6     9 

此外,我们希望根据三个列值进行过滤:

final_df = tmp_df[(tmp_df.col1 == 1) & (tmp_df.col2 == 4) & (tmp_df.col3== 7)] 
print(final_df) 

输出:

    col1  col2  col3 
0     1     4     7 

读取到dataframe后,上述所有步骤都可以在一行中完成:

final = df[['col1', 'col2', 'col3']][(df.col1 == 1) & (df.col2 == 4) & (df.col3== 7)] 
final 

希望对您有所帮助!

更新:

df = pd.DataFrame({'col1':[1,1,1,1,1], 'col2':[4,4,4,4,7],'col3':[7,7,9,7,7], 
               'col4':['X','X','X','X','X'],'col5':['X','X','X','X','X'],'col6':['X','X','X','X','X'], 
               'col7':['X','X','X','X','X'],'col8':['X','X','X','X','X'],'col9':['X','X','X','X','X'], 
               'col91':['X','X','X','X','X']}) 
print(df) 

输出:

     col1  col2  col3 col4 col5 col6 col7 col8 col9 col91 
0     1     4     7    X    X    X    X    X    X     X 
1     1     4     7    X    X    X    X    X    X     X 
2     1     4     9    X    X    X    X    X    X     X 
3     1     4     7    X    X    X    X    X    X     X 
4     1     7     7    X    X    X    X    X    X     X 

现在,使用与上面类似的掩码:

final = df[(df.col1 == 1) & (df.col2 == 4) & (df.col3== 7)] 
final 

输出:

    col1  col2  col3 col4 col5 col6 col7 col8 col9 col91 
0     1     4     7    X    X    X    X    X    X     X 
1     1     4     7    X    X    X    X    X    X     X 
3     1     4     7    X    X    X    X    X    X     X