我正在处理 pandas 数据框中的一列,我想将其展平成列。问题是有些列是单个词典,而其他列是词典列表。
例如,列中单元格中的数组可能如下所示:
{'a': 'x', 'b': 'y', 'c': 'z'}
或喜欢:
[{'a': 'x', 'b': 'y', 'c': 'z'}, {'a': 'd', 'b': 'e', 'c' : 'f'}]
我一直在尝试使用标准的 json_normalize 函数,但输出似乎无法处理两种不同类型的数组:
json_flattened = pd.io.json.json_normalize(df.json_cell.apply(json.loads))
这给我 AttributeError: 'list' object has no attribute 'items'
我希望在另一端得到一个数据框,该数据框最终将包含与数组中重复元素一样多的列。
.-------.---.---.---.-----.-----.------.
| index | a | b | c | a_1 | b_1 | c_1 |
:-------+---+---+---+-----+-----+------:
| 0 | x | y | z | NaN | NaN | NaN |
:-------+---+---+---+-----+-----+------:
| 1 | x | y | z | d | e | f |
'-------'---'---'---'-----'-----'------'
请您参考如下方法:
由于列中的格式不一致,您别无选择,只能遍历该列并检查每个单元格。
import pandas as pd
import numpy as np
from pandas.io.json import json_normalize
data = pd.DataFrame({'json':[{'a': 'x', 'b': 'y', 'c': 'z'},[{'a': 'x', 'b': 'y', 'c': 'z'}, {'a': 'd', 'b': 'e', 'c': 'f'}]]})
dflist = []
for index, row in data.iterrows():
norm = json_normalize(data['json'][index])
dflist.append(norm)
grouped = pd.concat(dflist, keys = np.arange(len(dflist)))
df2 = grouped.reset_index()
df2 = df2.pivot('level_0','level_1')
df2.index.name = None
df2.columns.names = [None, None]
df2.columns = df2.columns.map('{0[0]}_{0[1]}'.format)
#output
a_0 a_1 b_0 b_1 c_0 c_1
0 x NaN y NaN z NaN
1 x d y e z f
我们循环遍历该列,将每个列读入到它自己的 df 中。接下来我们将它们连接在一起,但分配每个键以使它们分组。接下来我们以键和索引为中心。最后,我们操纵从数据透视表生成的多级列以获得我们需要的内容。
