我有一个从 json 输入派生的数据集,它 id 想映射到 pandas 数据框。假设对应于表的各个行的 json 如下所示:
popo = {'foo': 3.14, 'bar': [1, 2, 3]}
也就是说,对应于我的表中所需列之一的键本身就是一个固定长度的列表。
使用 pandas.DataFrame.from_dict 或 pandas.io.json.json_normalize 加载此类字典的列表会生成包含两列 foo 和 bar 的数据框。在这两种情况下,bar 都是对象类型,这些对象是 python 列表。
df = pd.DataFrame.from_dict([popo] * 10, orient='index')
在一个完美的世界中,id 喜欢 df['bar'] 解引用到一个形状为 [n, 3] 的数组,所以我可以继续写像 df['bar'].sum(axis =1) 高效简洁。
但不仅我的加载代码没有给出这个结果,令我不愉快的是,pandas 似乎只支持一维数组作为数据帧上的系列/列,所以我随后也无法手动转换为类似的格式。
我错过了什么吗?感觉这不是一个非常奇特的用例,所以肯定有一种惯用的方式来处理以这种方式构建的数据?
编辑:包含 python 列表的类型对象列令人讨厌的另一个原因是像 feather 这样的二进制格式无法处理它。因此,将此数据结构转换为可以有效序列化的数据结构可以被视为释放在惯用 pandas 中工作的典型好处的另一个要求。
请您参考如下方法:
回答我自己的问题,这是迄今为止我找到的最令人满意的答案;通过将所有列表(或可迭代对象)转换为枚举字典来预处理我的 json 派生数据结构:
def list_to_dict(popo):
if isinstance(popo, dict):
return {k: list_to_dict(v) for k, v in popo.items()}
try:
return {str(i): list_to_dict(v) for i, v in enumerate(popo)}
except:
return popo
现在我们有:
list_to_dict(popo) == {'foo': 3.14, 'bar': {'0': 1, '1': 2, '2': 3}}
至少我可以这样写:
df = pandas.io.json.json_normalize([list_to_dict(popo)] * 10)
df[[f'bar.{i}' for i in range(3)]].sum(axis=1)
不是很喜欢,因为这种预处理不是免费的,而且访问的效率与处理单个连续数组的效率不同......但也许我不得不接受它。
