Skip to main content
 首页 » 编程设计

python之将大量字典转换为字典

2024年11月01日7lexus

我有一个包含 144005 行的大数据框。数据框的其中一列是一串字典,例如

'{"Step ID":"78495","Choice Number":"0","Campaign Run ID":"23199"}, 
    {"Step ID":"78495","Choice Number":"0","Campaign Run ID":"23199"}, 
    {"Step ID":"78495","Choice Number":"0","Campaign Run ID":"23199"}' 

我想将这个字符串转换成单独的字典。为此,我一直在使用 json.loads(),但是,我不得不一次一个地遍历这个字典字符串,使用 json.loads( ),然后将其转换为新的数据帧,并在遍历整个原始数据帧的同时继续附加到该数据帧。

我想知道是否有更有效的方法来执行此操作,因为迭代整个 144005 行的数据帧需要很长时间。

这是我一直在做的事情的一个片段:

d1 = df1['attributes'].values 
d2 = df1['ID'].values 
for i,j in zip(d1,d2): 
    data = json.loads(i) 
    temp = pd.DataFrame(data, index = [j]) 
    temp['ID'] = j 
    df2 = df2.append(temp, sort=False) 

我的 'attributes' 列由一串字典作为一行组成,'Id' 列包含它对应的 Id

请您参考如下方法:

我自己做的。

我使用 map 和 lambda 函数在每一行上有效地应用 json.loads(),然后我将这些数据转换为数据框并存储输出。

在这里。

l1 = df1['attributes'].values 
data = map(lambda x: json.loads(x), l1) 
df2 = pd.DataFrame(data)