Skip to main content
 首页 » 编程设计

python之分配给 pandas DataFrame 中的新列时令人费解的 KeyError

2024年12月31日11小虾米

我正在做一些自然语言处理,我有一个看起来像这样的 MultiIndexed DataFrame(除了实际上有大约 3,000 行):

                             Title                                              N-grams 
Period  Date                                                                                                                      
2015-01 2015-01-01 22:00:10  SIRF: Simultaneous Image Registration and Fusi...  [@SENTBEGIN paper, paper propose, propose nove...     
        2015-01-02 16:54:13  Generic construction of scale-invariantly coar...  [@SENTBEGIN encode, encode temporal, temporal ... 
        2015-01-04 00:07:00  Understanding Trajectory Behavior: A Motion Pa...  [@SENTBEGIN mining, mining underlie, underlie ... 
        2015-01-04 09:07:45  Hostile Intent Identification by Movement Patt...  [@SENTBEGIN the, the recent, recent year, year... 
        2015-01-04 14:35:58  A New Method for Signal and Image Analysis: Th...  [@SENTBEGIN brief, brief review, review provid... 

我想做的是计算每个 n-gram 在每个月出现的次数(因此第一个索引“Period”)。这样做是相当简单的,如果耗时(并且因为“N-grams”列中的每个单元格都是一个列表,我不确定可以做很多事情来加快速度)。我使用以下代码创建了一个新的 DataFrame 来保存计数:

# Create the frequencies DataFrame. 
period_index = ngrams.index.unique(level = "Period") 
freqs = DataFrame(index = period_index) 
 
# Count the n-grams in each period. 
for period in period_index: 
    for ngrams_list in ngrams.loc[period, "N-grams"]: 
        for ngram in ngrams_list: 
            if not ngram in freqs.columns: 
                freqs[ngram] = 0 
            freqs.loc[period, ngram] += 1 

逻辑非常简单:如果已经看到有问题的 n-gram(在“freqs”中有一列),则将计数加 1。如果还没有看到,则创建一个新的该 n-gram 的 0 列,然后正常递增。在绝大多数情况下,这工作正常,但对于一小部分 n-gram,当循环到达增量行时我会收到此错误:

KeyError: u'the label [7 85.40] is not in the [index]' 

(很抱歉缺少正确的堆栈跟踪——我在 Zeppelin Notebook 中执行此操作,而 Zeppelin 没有提供正确的堆栈跟踪。)

更多的调试表明,在这些情况下,新列的创建会悄无声息地失败(也就是说,它不起作用,但它也不会返回异常)。

可能值得注意的是,在早期版本的代码中,我使用“loc”直接分配给新创建的列中的单元格,而不是先创建列,如下所示:

if not ngram in freqs.columns: 
    freqs.loc[period, ngram] = 1 

我更改了它,因为它通过将该 n-gram 的 NaN 分配给所有其他时间段而导致问题,但直接分配在与新代码完全相同的 n-gram 上阻塞。

通过将增量行包装在 try/except block 中,我发现该错误极其很少见:在总共超过 100,000 个 n-gram 中,大约有 20 个出现错误语料库。以下是一些示例:

"7 85.40" 
"2014 july" 
"2010 3.4" 
"and 77" 
"1997 and" 
"and 2014" 
"6 2008" 
"879 --" 
"-- 894" 
"2003 -" 
"- 2014" 

这 20 个中的大部分包含数字,但至少有一个完全是字母(两个单词用空格分隔——它不在上面的列表中,因为我在输入这个问题时重新运行了脚本,但没有一直到那个点),并且大量只有数字的 n-gram 不会导致问题。大多数有问题的都涉及年份,从表面上看,这可能表明与 DataFrame 的 DatetimeIndex 存在某种混淆(假设 DatetimeIndex 接受部分匹配),但这并不能解释非日期,尤其是那些以字母开头。

尽管 DatetimeIndex 冲突的可能性不大,但我尝试了一种不同的方法来创建每个新列(如对 Adding new column to existing DataFrame in Python pandas 的回答所建议的),使用“loc”来避免行和列之间的任何混淆:

freqs.loc[:, ngram] = Series(0, index = freqs.index) 

...但这与我的原始代码完全相同,它通过分配给一个不存在的列来隐式创建每个新列:

KeyError: u'7 85.40' 

接下来,我尝试了 DataFrame.assign 方法(在上面引用的相同答案中建议,尽管我需要添加 pandas assign with new column name as string 的答案建议的解决方法):

kwarg = {ngram: 0} 
freqs = freqs.assign(**kwarg) 

唉,这会产生完全相同的错误。

有没有人对为什么会发生这种情况有任何见解?考虑到这种情况,我想我可以忽略有问题的 n-gram,但最好了解发生了什么。

请您参考如下方法:

不推荐或不需要嵌套的 for 循环。您可以使用 sklearn.preprocessing 库中的 MultiLabelBinarizer 提供单热编码,然后使用 groupby + sum使用结果并加入您的原始数据框。

这是一个演示:

df = df.set_index(['L1', 'L2']) 
 
row_counts = df['values'].apply(pd.Series.value_counts).fillna(0).astype(int) 
 
# alternative if above does not work 
row_counts = df['values'].apply(lambda x: pd.Series(x).value_counts(sort=False))\ 
                         .fillna(0).astype(int) 
 
row_counts_grouped = row_counts.groupby(level='L1').sum() 
 
df = df.join(row_counts_grouped, how='inner') 
 
print(df) 
 
          values  a  b  c  d  e  g 
L1 L2                              
1  1   [a, a, c]  3  2  2  1  1  0 
   2   [b, c, d]  3  2  2  1  1  0 
   3   [a, b, e]  3  2  2  1  1  0 
2  1   [a, e, g]  1  2  1  2  2  1 
   2   [b, d, d]  1  2  1  2  2  1 
   3   [e, b, c]  1  2  1  2  2  1 

设置/原始解决方案

我们不考虑使用此解决方案的行中的重复值:

from sklearn.preprocessing import MultiLabelBinarizer 
 
df = pd.DataFrame([[1,1,['a','a','c']], [1,2,['b','c','d']], [1,3,['a','b','e']], 
                   [2,1,['a','e','g']], [2,2,['b','d','d']], [2,3,['e','b','c']]], 
                  columns=['L1', 'L2', 'values']) 
 
df = df.set_index(['L1', 'L2']) 
 
mlb = MultiLabelBinarizer() 
 
onehot = pd.DataFrame(mlb.fit_transform(df['values']), 
                      columns=mlb.classes_, 
                      index=df.index.get_level_values('L1')) 
 
onehot_grouped = onehot.groupby(level='L1').sum() 
 
df = df.join(onehot_grouped, how='inner') 
 
print(df) 
 
          values  a  b  c  d  e  g 
L1 L2                              
1  1   [a, a, c]  2  2  2  1  1  0 
   2   [b, c, d]  2  2  2  1  1  0 
   3   [a, b, e]  2  2  2  1  1  0 
2  1   [a, e, g]  1  2  1  1  2  1 
   2   [b, d, d]  1  2  1  1  2  1 
   3   [e, b, c]  1  2  1  1  2  1