Skip to main content
 首页 » 编程设计

python之使用不一致的格式在 Pandas DataFrame 中展平 JSON

2024年11月24日11zdz8207

我正在处理 pandas 数据框中的一列,我想将其展平成列。问题是有些列是单个词典,而其他列是词典列表。

例如,列中单元格中的数组可能如下所示:

{'a': 'x', 'b': 'y', 'c': 'z'}

或喜欢:

[{'a': 'x', 'b': 'y', 'c': 'z'}, {'a': 'd', 'b': 'e', 'c' : 'f'}]

我一直在尝试使用标准的 json_normalize 函数,但输出似乎无法处理两种不同类型的数组:

json_flattened = pd.io.json.json_normalize(df.json_cell.apply(json.loads)) 

这给我 AttributeError: 'list' object has no attribute 'items'

我希望在另一端得到一个数据框,该数据框最终将包含与数组中重复元素一样多的列。

.-------.---.---.---.-----.-----.------. 
| index | a | b | c | a_1 | b_1 | c_1  | 
:-------+---+---+---+-----+-----+------: 
|     0 | x | y | z | NaN | NaN | NaN  | 
:-------+---+---+---+-----+-----+------: 
|     1 | x | y | z | d   | e   | f    | 
'-------'---'---'---'-----'-----'------' 

请您参考如下方法:

由于列中的格式不一致,您别无选择,只能遍历该列并检查每个单元格。

import pandas as pd 
import numpy as np 
from pandas.io.json import json_normalize 
 
 
data = pd.DataFrame({'json':[{'a': 'x', 'b': 'y', 'c': 'z'},[{'a': 'x', 'b': 'y', 'c': 'z'}, {'a': 'd', 'b': 'e', 'c': 'f'}]]}) 
 
dflist = [] 
for index, row in data.iterrows(): 
    norm = json_normalize(data['json'][index]) 
    dflist.append(norm) 
 
grouped = pd.concat(dflist, keys = np.arange(len(dflist))) 
 
df2 = grouped.reset_index() 
 
df2 = df2.pivot('level_0','level_1') 
 
df2.index.name = None 
df2.columns.names = [None, None] 
df2.columns = df2.columns.map('{0[0]}_{0[1]}'.format)  
 
#output 
 
    a_0  a_1    b_0  b_1    c_0  c_1 
0   x    NaN    y    NaN    z    NaN 
1   x    d      y    e      z    f 

我们循环遍历该列,将每个列读入到它自己的 df 中。接下来我们将它们连接在一起,但分配每个键以使它们分组。接下来我们以键和索引为中心。最后,我们操纵从数据透视表生成的多级列以获得我们需要的内容。