我在字典中有一些数据框,我想使用公共(public)列“日期”合并所有这些数据框。为此,我使用了以下代码:
n = len(dictionary)
something = dictionary[dictionnary_keys[0]]
for i in range(1,n):
something = something.merge(dictionary[dictionnary_keys[i], on="date")
print(something.shape)
请注意,每个字典的值都是一个 pandas 数据框,其形状为 (500,10)。 当我运行该代码时,出现内存错误,因为行数和列数都增加了……但是,只有列数必须增加。我不明白为什么我会得到这个结果。 有人可以解释一下如何处理这种情况吗?
感谢您的帮助。如果您想了解更多信息,请告诉我:)
请您参考如下方法:
您很可能有重复的 date 值。
这是一个简单的例子:
# Generate dict of DatFrame with duplicated 'a'
d = dict()
for i in range(4):
d[i] = pd.DataFrame({'a': list('ABBCD'), 'b':np.random.randint(0, 10, 5), 'c': i})
n = len(d)
s = d[0]
for i in range(1,n):
s = s.merge(d[i], on="a")
print(s.shape)
(7, 5)
(11, 7)
(19, 9)
没有重复的重新运行:
d = dict()
for i in range(4):
d[i] = pd.DataFrame({'a': list('ABCDE'), 'b':np.random.randint(0, 10, 5), 'c': i})
n = len(d)
s = d[0]
for i in range(1,n):
s = s.merge(d[i], on="a")
print(s.shape)
(5, 5)
(5, 7)
(5, 9)
以这种方式合并可能会导致系列命名的复杂化:
a b_x c_x b_y c_y b_x c_x b_y c_y
0 A 4 0 5 1 0 2 9 3
1 B 5 0 8 1 3 2 0 3
2 C 6 0 0 1 5 2 8 3
3 D 2 0 0 1 8 2 8 3
4 E 8 0 2 1 7 2 9 3
s['b_x']
b_x b_x
0 4 0
1 5 3
2 6 5
3 2 8
4 8 7
