我希望将一个大的 CSV 读入数据框中,如果某些列丢失(因为输入不符合预期),我希望尽早失败,但我确实想要所有 要包含在 Dataframe 中的列,而不仅仅是必需的列。在 pandas.read_csv ,如果我想指定要读入的列的子集,我似乎可以使用 usecols 参数,但我可以看到检查哪些列将在数据框中的唯一明显方法我是about to read 就是实际读取文件。
我已经制作了一个工作的第一遍版本,它将数据帧作为迭代器读取,获取第一行,检查列是否存在,然后使用普通参数读取文件:
import pandas as pd
from io import StringIO
class MissingColumnsError(ValueError):
pass
def cols_enforced_reader(*args, cols_must_exist=None, **kwargs):
if cols_must_exist is not None:
# Read the first line of the DataFrame and check the columns
new_kwargs = kwargs.copy()
new_kwargs['iterator'] = True
new_kwargs['chunksize'] = 1
if len(args):
filepath_or_buffer = args[0]
args = args[1:]
else:
filepath_or_buffer = new_kwargs.get('filepath_or_buffer', None)
df_iterator = pd.read_csv(filepath_or_buffer, *args, **new_kwargs)
c = next(df_iterator)
if not all(col in c.columns for col in cols_must_exist):
raise MissingColumnsError('Some required columns were missing!')
seek = getattr(filepath_or_buffer, 'seek', None)
if seek is not None:
if filepath_or_buffer.seekable():
filepath_or_buffer.seek(0)
return pd.read_csv(filepath_or_buffer, *args, **kwargs)
in_csv = """col1,col2,col3\n0,1,2\n3,4,5\n6,7,8"""
# Should succeed
df = cols_enforced_reader(StringIO(in_csv), cols_must_exist=['col1'])
print('First call succeeded as expected.')
# Should fail
try:
df = cols_enforced_reader(StringIO(in_csv), cols_must_exist=['col7'])
except MissingColumnsError:
print('Second call failed as expected.')
这对我来说感觉有点困惑,并没有真正处理 filepath_or_buffer 的所有可能输入(例如,不可搜索的流,或者我不应该从 0 开始的缓冲区) .显然,我现在可以针对我的特定用例调整这里的内容并完成它,但我想知道是否有更优雅的方法(最好只使用标准的 pandas 函数)在 中工作一般。
请您参考如下方法:
您可以只读取一行并测试是否所有必需的列都存在吗?例如:
import pandas as pd
required_cols = ['col1', 'col2']
cols = pd.read_csv('input.csv', nrows=1).columns
if all(req in cols for req in required_cols):
print pd.read_csv('input.csv')
else:
print "Columns missing"
要通过流执行此操作,另一种方法是通过 csv.reader() 读取它,这与 itertools.tee() 兼容:
import pandas as pd
from itertools import tee
import csv
required_cols = ['col1', 'col2']
with open('input.csv') as f_input:
csv_input = csv.reader(f_input)
csv_stream1, csv_stream2 = tee(csv_input, 2)
header = next(csv_stream1)
if all(req in header for req in required_cols):
df = pd.DataFrame(list(csv_stream2)[1:], columns=header)
print(df)
else:
print("Columns missing")
