Skip to main content
 首页 » 编程设计

python之在 pandas read_csv 中施加必需的列约束

2025年02月15日8lovecherry

我希望将一个大的 CSV 读入数据框中,如果某些列丢失(因为输入不符合预期),我希望尽早失败,但我确实想要所有 要包含在 Dataframe 中的列,而不仅仅是必需的列。在 pandas.read_csv ,如果我想指定要读入的列的子集,我似乎可以使用 usecols 参数,但我可以看到检查哪些列将在数据框中的唯一明显方法我是about to read 就是实际读取文件。

我已经制作了一个工作的第一遍版本,它将数据帧作为迭代器读取,获取第一行,检查列是否存在,然后使用普通参数读取文件:

import pandas as pd 
from io import StringIO 
 
class MissingColumnsError(ValueError): 
    pass 
 
def cols_enforced_reader(*args, cols_must_exist=None, **kwargs): 
    if cols_must_exist is not None: 
        # Read the first line of the DataFrame and check the columns 
        new_kwargs =  kwargs.copy() 
        new_kwargs['iterator'] = True 
        new_kwargs['chunksize'] = 1 
 
        if len(args): 
            filepath_or_buffer = args[0] 
            args = args[1:] 
        else: 
            filepath_or_buffer = new_kwargs.get('filepath_or_buffer', None) 
 
        df_iterator = pd.read_csv(filepath_or_buffer, *args, **new_kwargs) 
 
        c = next(df_iterator) 
        if not all(col in c.columns for col in cols_must_exist): 
            raise MissingColumnsError('Some required columns were missing!') 
 
        seek = getattr(filepath_or_buffer, 'seek', None) 
        if seek is not None: 
            if filepath_or_buffer.seekable(): 
                filepath_or_buffer.seek(0) 
 
    return pd.read_csv(filepath_or_buffer, *args, **kwargs) 
 
in_csv = """col1,col2,col3\n0,1,2\n3,4,5\n6,7,8""" 
 
# Should succeed 
df = cols_enforced_reader(StringIO(in_csv), cols_must_exist=['col1']) 
print('First call succeeded as expected.') 
 
# Should fail 
try: 
    df = cols_enforced_reader(StringIO(in_csv), cols_must_exist=['col7']) 
except MissingColumnsError: 
    print('Second call failed as expected.') 

这对我来说感觉有点困惑,并没有真正处理 filepath_or_buffer 的所有可能输入(例如,不可搜索的流,或者我不应该从 0 开始的缓冲区) .显然,我现在可以针对我的特定用例调整这里的内容并完成它,但我想知道是否有更优雅的方法(最好只使用标准的 pandas 函数)在 中工作一般。

请您参考如下方法:

您可以只读取一行并测试是否所有必需的列都存在吗?例如:

import pandas as pd 
 
required_cols = ['col1', 'col2'] 
cols = pd.read_csv('input.csv', nrows=1).columns 
 
if all(req in cols for req in required_cols): 
    print pd.read_csv('input.csv') 
else: 
    print "Columns missing" 

要通过流执行此操作,另一种方法是通过 csv.reader() 读取它,这与 itertools.tee() 兼容:

import pandas as pd 
from itertools import tee 
import csv 
 
required_cols = ['col1', 'col2'] 
 
with open('input.csv') as f_input: 
    csv_input = csv.reader(f_input) 
    csv_stream1, csv_stream2 = tee(csv_input, 2) 
    header = next(csv_stream1) 
 
    if all(req in header for req in required_cols): 
        df = pd.DataFrame(list(csv_stream2)[1:], columns=header) 
        print(df) 
    else: 
        print("Columns missing")