我有一个简单的 excel 文件,其中包含两列 - 一个分类列和另一个数字列,我使用 read_excel 函数将其读入 pandas,如下所示
df= pd.read_excel('pandas_crasher.xlsx')
第一列是多种类型的Object类型。由于 excel 格式错误,该列包含时间戳、 float 和文本的组合。但它通常应该只是一个简单的文本列
from datetime import datetime
from collections import Counter
df['random_names'].dtype
dtype('O')
print Counter([type(i) for i in load_instance['random_names']])
Counter({type 'unicode'>: 15427, type 'datetime.datetime'>: 18, type 'float'>: 2})
当我对其执行简单的 groupby 时,它崩溃了 python 内核,没有任何错误消息或通知 - 我尝试从 jupyter 和一个小型自定义 flask 中执行此操作应用程序没有任何运气。
df.groupby('random_names')['random_values'].sum() << 崩溃
这是一个相对较小的文件,只有 700kb(15k 行和 2 列)- 所以绝对不是内存问题
我尝试使用 pdb 进行调试以跟踪崩溃点但无法通过 pandas/core/groupby.py module 中的 cython 函数
def _cython_operation(self, kind, values, how, axis)
pandas 中可能存在的错误 - 与其直接崩溃,不如抛出异常并优雅地退出?
然后我使用以下函数将各种数据类型转换为文本
def custom_converter(x):
if isinstance(x,datetime) or isinstance( x, ( int, long, float ) ):
return str(x)
else:
return x.encode('utf-8')
df['new_random_names'] = df['random_names'].apply(custom_converter)
df['new_random_names'].groupby('random_names')['random_values'].sum() << does not crash
应用自定义函数可能是执行此操作最慢的方法。有更好/更快的方法吗?
此处为 Excel 文件:https://drive.google.com/file/d/0B1ZLijGO6gbLelBXMjJWRFV3a2c/view?usp=sharing
请您参考如下方法:
对我来说,崩溃似乎发生在 pandas 尝试对组键进行排序时。如果我将 sort=False 参数传递给 .groupby() 那么操作就会成功。这也可能对您有用。排序似乎是一个 numpy 操作,实际上并不涉及 pandas 对象,因此它最终可能是一个 numpy 问题。 (例如,df.random_names.values.argsort() 对我来说也会崩溃。)
经过更多尝试后,我猜测问题与某种模糊情况有关,这种情况是由于在 numpy 的排序操作期间进行的特定比较而出现的。对我来说,这会崩溃:
df.random_names.values[14005:15447]
但是在切片的两端留下一个项目不会再崩溃了。制作此数据的副本,然后通过取出单个元素对其进行调整,是否会发生崩溃取决于是否从数据中删除了某些看似随机的元素。此外,在某些情况下,它会失败并出现异常“TypeError:无法将 datetime.datetime 与 unicode 进行比较”(或“datetime to float”)。
这部分数据包含一个日期时间和一个浮点值,恰好是一个nan。看起来 numpy 代码中存在一些奇怪的边缘情况,导致失败的比较在某些情况下崩溃,而不是引发正确的异常。
要回答帖子末尾的问题,您可能会更轻松地使用 read_excel 的各种参数(例如 converters 参数)来阅读所有内容数据从一开始就作为文本值。
