我有一个包含三列的初始 Pandas DataFrame,其中一列包含字符串列表。目标是将每一行拆分为与 obj 列中的项目一样多的元素,例如:
from to obj
--------------------
abc xyz [foo, bar]
def uvw [gee]
ghi rst [foo, bar, baz]
变成这样:
from to obj
--------------------
abc xyz foo
abc xyz bar
def uvw gee
ghi rst foo
ghi rst bar
ghi rst baz
目前我是这样做的:
transformed = pd.DataFrame(columns=['from', 'to', 'obj'])
for index, row in origin.iterrows():
for obj in row['obj']:
transformed = transformed.append(pd.Series({
'from': row['from'],
'to': row['to'],
'obj': obj
}), ignore_index=True)
除了慢得令人痛苦之外,这工作得很好。如果 origin 有 100,000 个元素,则计算 transformed 很容易需要长达一小时。
有没有一种矢量化的方法可以得到相同的结果,而不必求助于 Python 循环?
请您参考如下方法:
本质上,您是在根据您的列重复或链接值。
所以你可以使用np.repeat和 itertools.chain作为适当的。该解决方案对于少量列是有效的,如您的示例所示。
import numpy as np
from itertools import chain
# set up dataframe
df = pd.DataFrame({'from': ['abc', 'def', 'gfhi'],
'to': ['xyz', 'uvw', 'rst'],
'obj': [['foo', 'bar'], ['gee'], ['foo', 'bar', 'baz']]})
# calculate length of each list in obj
lens = df['obj'].map(len)
# calculate result, repeating or chaining as appropriate
res = pd.DataFrame({'from': np.repeat(df['from'], lens),
'to': np.repeat(df['to'], lens),
'obj': list(chain.from_iterable(df['obj']))})
print(res)
from to obj
0 abc xyz foo
0 abc xyz bar
1 def uvw gee
2 gfhi rst foo
2 gfhi rst bar
2 gfhi rst baz
