通常在处理数据时我必须更改数据类型。
例如
In [11]: import pandas as pd
In [12]: import numpy as np
In [13]: df = pd.DataFrame({'col2': {0: 'apples', 1: 'oranges', 2: 'rabbit'}, 'col1': {0: 'white', 1: 'marshmallow', 2: 'bandwagon'}}
)
In [14]: df.dtypes
Out[14]:
col1 object
col2 object
dtype: object
In [15]: for col in cols:
df[col] = df[col].astype('category')
....:
In [16]: df.dtypes
Out[16]:
col1 category
col2 category
dtype: object
是否有一种对 pandas 更友好的方式来做到这一点——例如使用列表理解?感觉for循环很慢。。。
这是我不得不做的一件非常常见的事情,我只是想知道是否有我不知道的习语。
请您参考如下方法:
我认为你的解决方案很好。
另一个是:
df[['col1','col2']] = df[['col1','col2']].apply(lambda x: x.astype('category'))
时间:
In [32]: %timeit (orig(df))
10 loops, best of 3: 27.8 ms per loop
In [33]: %timeit df.apply(lambda x: x.astype('category'))
10 loops, best of 3: 41.5 ms per loop
In [34]: %timeit pd.concat([df[col].astype('category') for col in df], axis=1)
100 loops, best of 3: 18.7 ms per loop
计时代码:
df = pd.DataFrame({'col2': ['apples', 'oranges', 'rabbit'],
'col1': ['white', 'marshmallow', 'bandwagon']})
df = pd.concat([df]*1000)
df = pd.concat([df]*100, axis=1)
df.columns = range(df.shape[1])
df[df.columns] = df[df.columns].apply(lambda x: x.astype('category'))
print (df)
df = pd.concat([df[col].astype('category') for col in df], axis=1)
print (df)
def orig(df):
for col in df.columns:
df[col] = df[col].astype('category')
return df
