Skip to main content
 首页 » 编程设计

python之在 for 循环中附加 Pandas 数据帧会导致 ValueError

2025年04月02日13daizhj

我想生成一个由 for 循环中生成的单独数据帧组成的数据帧。每个单独的数据框都包含一个名称列、一系列整数和一个列,用于标识整数所属的类别(例如五分位数 1 到 5)。如果我单独生成每个数据框,然后将一个附加到另一个以创建“主”数据框,那么就没有问题。但是,当我使用循环创建每个单独的数据帧时(正如我在现实生活中需要做的那样)然后尝试将数据帧附加到主数据帧会导致:

ValueError: incompatible categories in categorical concat 

我写了一个简化的循环来说明:

import numpy as np 
import pandas as pd 
 
# Define column names 
colNames = ('a','b','c') 
 
# Define a dataframe with the required column names 
masterDF = pd.DataFrame(columns = colNames) 
 
# A list of the group names 
names = ['Group1','Group2','Group3'] 
 
# Create a dataframe for each group 
for i in names: 
    tempDF = pd.DataFrame(columns = colNames) 
    tempDF['a'] = np.arange(1,11,1) 
    tempDF['b'] = i 
    tempDF['c'] = pd.cut(np.arange(1,11,1), 
                        bins = np.linspace(0,10,6), 
                        labels = [1,2,3,4,5]) 
    print(tempDF) 
    print('\n') 
 
    # Try to append temporary DF to master DF 
    masterDF = masterDF.append(tempDF,ignore_index=True) 
 
print(masterDF) 

我希望数据框看起来像:

     a       b  c 
 0   1  Group1  1 
 1   2  Group1  1 
 2   3  Group1  2 
 3   4  Group1  2 
 4   5  Group1  3 
 5   6  Group1  3 
 6   7  Group1  4 
 7   8  Group1  4 
 8   9  Group1  5 
 9  10  Group1  5 
10  11  Group2  1 
11  12  Group2  1 
12  13  Group2  2 
13  14  Group2  2 
... 
28  29  Group3  5 
29  30  Group3  5 

似乎可以通过在将类别添加到 tempDF 时对其进行类型转换来获得部分解决方案,如下所示:

tempDF['c'] = pd.cut(np.arange(1,11,1), 
                     bins = np.linspace(0,10,6), 
                     labels = [1,2,3,4,5]).astype('int') 

但是,在这种情况下,类别(“c”列)现在显示为 1.0、2.0 等,而不是 1、2 等,因此并不理想。

任何人都可以解释为什么会发生这种情况并提出更令人满意的解决方案。

请您参考如下方法:

您可以先将所有DataFrames 附加到列表dfs,然后concat :

dfs = [] 
# Create a dataframe for each group 
for i in names: 
    tempDF = pd.DataFrame(columns = colNames) 
    tempDF['a'] = np.arange(1,11,1) 
    tempDF['b'] = i 
    tempDF['c'] = pd.cut(np.arange(1,11,1), 
                        bins = np.linspace(0,10,6), 
                        labels = [1,2,3,4,5]) 
    print(tempDF) 
    print('\n') 
 
    # Try to append temporary DF to master DF 
    dfs.append(tempDF) 
 
masterDF = pd.concat(dfs, ignore_index=True) 
print(masterDF) 
     a       b  c 
0    1  Group1  1 
1    2  Group1  1 
2    3  Group1  2 
3    4  Group1  2 
4    5  Group1  3 
5    6  Group1  3 
6    7  Group1  4 
7    8  Group1  4 
8    9  Group1  5 
9   10  Group1  5 
10   1  Group2  1 
11   2  Group2  1 
12   3  Group2  2 
13   4  Group2  2 
14   5  Group2  3 
15   6  Group2  3 
16   7  Group2  4 
17   8  Group2  4 
18   9  Group2  5 
19  10  Group2  5 
20   1  Group3  1 
21   2  Group3  1 
22   3  Group3  2 
23   4  Group3  2 
24   5  Group3  3 
25   6  Group3  3 
26   7  Group3  4 
27   8  Group3  4 
28   9  Group3  5 
29  10  Group3  5