Skip to main content
 首页 » 编程设计

python之将大型 CSV 数据集分成更短的 block

2025年02月15日13pengyingh

我有一个大型排序的(公司序列号)csv 文件(331 MB 的 TNIC 数据集),其中列出了公司之间的成对相关性。

每一行都是这样的:

[Score, Some-Company-Serial, Other-Company-Serial, year] 

Some-Company-Serial 和 Other-Company-Serial 都是整数。

我想将这个大的 CSV 文件分成更短的 csv block 。每个 block 只有一家公司与其他公司的分数。即,

block 1:companyA.csv:

[Score, Company-A, Company-B, year] 
[Score, Company-A, Company-C, year] 
[Score, Company-A, Company-D, year] 
[Score, Company-A, Company-E, year] 
[Score, Company-A, Company-F, year] 

block 2:companyB.csv:

[Score, Company-B, Company-A, year] 
[Score, Company-B, Company-C, year] 
[Score, Company-B, Company-D, year] 
[Score, Company-B, Company-E, year] 
[Score, Company-B, Company-F, year] 

..等等。

什么是一种好的、快速的和 pythonic 的方式(或任何其他有效的方式)来做到这一点?

CSV 文件的示例是 here引用。

请您参考如下方法:

我会做这样的事情:

df = pd.read_csv('TNIC.csv') 
for k, g in df.groupby('gvkey_1'): 
    g.to_csv('Company_' + str(k) + '.csv', index=False)