Skip to main content
 首页 » 编程设计

python之从 CSV 文件中只读取一个随机行并移动到另一个 CSV

2025年04月02日8sharpest

在 Windows 上使用 0.18.1 pandas 和 2.7.10 Python 从大型 csv 文件读取随机行并将其移动到另一个 CSV 文件时遇到问题。

我只想将随机选择的行加载到内存中并将它们移动到另一个 CSV。我不想将第一个 CSV 的全部内容加载到内存中。

这是我使用的代码:

import random 
 
file_size = 100 
f = open("customers.csv",'r') 
o = open("train_select.csv", 'w') 
for i in range(0, 50): 
    offset = random.randrange(file_size) 
    f.seek(offset) 
    f.readline() 
    random_line = f.readline() 
    o.write(random_line) 

当前输出看起来像这样:

2;flhxu-name;tum-firstname; 17520;buo-city;1966/04/24;wfyz-street;   96;GA;GEORGIA 
1;jwcdf-name;fsj-firstname; 13520;oem-city;1954/02/07;amrb-street; 145;AK;ALASKA 
1;jwcdf-name;fsj-firstname; 13520;oem-city;1954/02/07;amrb-street; 145;AK;ALASKA 

我的问题有两个:

  1. 我还想在第二个 csv 中看到标题,而不仅仅是行。

  2. 随机函数只能选择一行。

输出应该是这样的:

id;name;firstname;zip;city;birthdate;street;housenr;stateCode;state 
2;flhxu-name;tum-firstname; 17520;buo-city;1966/04/24;wfyz-street;   96;GA;GEORGIA 
1;jwcdf-name;fsj-firstname; 13520;oem-city;1954/02/07;amrb-street; 145;AK;ALASKA 

请您参考如下方法:

你做的比那更简单:

  1. 首先,完整阅读客户文件,title是特例,不要提及。
  2. 打乱行列表(这就是你要找的)
  3. 写回标题+乱序

代码:

import random 
 
with open("customers.csv",'r') as f: 
    title = f.readline() 
    lines = f.readlines() 
 
random.shuffle(lines) 
 
with open("train_select.csv", 'w') as f: 
    f.write(title) 
    f.writelines(lines) 

编辑:如果您不想将整个文件保存在内存中,这里有一个替代方案。唯一的缺点是您必须读取文件一次(但不存储在内存中)以计算行偏移量:

import random 
 
input_file = "customers.csv" 
 
line_offsets = list() 
 
# just read the title 
with open(input_file,'r') as f: 
    title = f.readline() 
    # store offset of the first 
    while True: 
        # store offset of the next line start 
        line_offsets.append(f.tell()) 
        line = f.readline() 
        if line=="": 
            break 
 
    # now shuffle the offsets 
    random.shuffle(line_offsets) 
 
    # and write the output file 
    with open("train_select.csv", 'w') as fw: 
        fw.write(title) 
        for offset in line_offsets: 
            # seek to a line start 
            f.seek(offset) 
            fw.write(f.readline())