我有一个包含 144005 行的大数据框。数据框的其中一列是一串字典,例如
'{"Step ID":"78495","Choice Number":"0","Campaign Run ID":"23199"},
{"Step ID":"78495","Choice Number":"0","Campaign Run ID":"23199"},
{"Step ID":"78495","Choice Number":"0","Campaign Run ID":"23199"}'
我想将这个字符串转换成单独的字典。为此,我一直在使用 json.loads(),但是,我不得不一次一个地遍历这个字典字符串,使用 json.loads( ),然后将其转换为新的数据帧,并在遍历整个原始数据帧的同时继续附加到该数据帧。
我想知道是否有更有效的方法来执行此操作,因为迭代整个 144005 行的数据帧需要很长时间。
这是我一直在做的事情的一个片段:
d1 = df1['attributes'].values
d2 = df1['ID'].values
for i,j in zip(d1,d2):
data = json.loads(i)
temp = pd.DataFrame(data, index = [j])
temp['ID'] = j
df2 = df2.append(temp, sort=False)
我的 'attributes' 列由一串字典作为一行组成,'Id' 列包含它对应的 Id
请您参考如下方法:
我自己做的。
我使用 map 和 lambda 函数在每一行上有效地应用 json.loads(),然后我将这些数据转换为数据框并存储输出。
在这里。
l1 = df1['attributes'].values
data = map(lambda x: json.loads(x), l1)
df2 = pd.DataFrame(data)
