Skip to main content
 首页 » 编程设计

python之Pandas v0.13.0 : Setting DataFrame values of type datetime64[ns]

2024年11月01日10xing901022

我最近将 Pandas 更新到 v0.13.0,它似乎引入了日期时间类型数据的问题。

让我们以这个例子为例,我们有一个包含一列 datetime64[ns] 和一列 int32 的数据框。

import pandas as pd 
import numpy as np 
 
t  = pd.date_range('2000-01-01','2000-01-20')         
v  = np.arange(0,len(t)) 
df = pd.DataFrame({'date':t,'val':v}) 

首先,让我们将每一列设置为相同数据类型的标量值。

# SETTING SCALAR OF SAME TYPE 
df.loc[:,'val']  = v[0] # Works fine 
df.loc[:,'date'] = t[0] # Works fine 

Pandas 正确广播了数据。两列都没有问题。

其次,让我们尝试用不同数据类型的标量替换:

# SETTING SCALAR, BUT OF DIFFERENT DTYPE 
df.loc[:,'val']  = t[0] # Works fine 
df.loc[:,'date'] = v[0] # Does not work? 

虽然第一次操作成功,但第二次出现错误: “ValueError:新类型与数组不兼容。”

第三,让我们尝试用数据向量替换每一列(不更改数据类型):

df = pd.DataFrame({'date':t,'val':v}) 
 
# SETTING VECTOR 
df.loc[:,'val']  = v * 2 # Works fine 
df.loc[:,'date'] = t.shift(365) # Does not work? 

同样,第一个操作有效。但是第二次操作失败,错误: “ValueError:具有多个元素的数组的真值不明确。使用 a.any() 或 a.all()”

有人知道这是怎么回事吗?这可能是两个不同的问题。感谢您的帮助!

编辑:感谢 Jeff 对上述问题提供了正确的答案。然而,他的回答确实提出了一个(希望是)最后一个问题:

如何分配给 DataFrame 的子集,其中该子集跨越多行和多列并且至少一列是 datetime64 类型?

例如:

t  = pd.date_range('2000-01-01','2000-01-20')         
v  = np.arange(0,len(t)) 
df = pd.DataFrame({'date':t,'val':v,'val2':v}) 
 
# USING LABELS 
df.loc[4:7,['val','val2']] = df.loc[4:7,['val','val2']] # Works fine 
df.loc[4:7,['date','val']] = df.loc[4:7,['date','val']] # Does not work? 
 
# USING ROW SLICE 
df[4:7] = df[4:7]                                       # Does not work? 
 
# USING BOOLEAN ROW MASK 
mask = np.array([True] * len(df)) 
mask[[1,4,8]] = False 
df[mask] = df[mask]                                     # Does not work? 

虽然 Jeff 使用 df[col] = val 而不是 df.loc[:,col] = val 的解决方案正确地解决了我原来的问题(列分配),但它对基于行(或行 x 列)没有帮助-based)赋值。*

  • 除非你转置 df.T[[4,5,6]] = df.T[[4,5,6]],但这看起来像是作弊......

谢谢。

请您参考如下方法:

你操作的是直接列设置吗。

In [40]: df['date'] = v[0] 
 
In [41]: df 
Out[41]:  
    date  val 
0      0    0 
1      0    1 
2      0    2 
3      0    3 
4      0    4 
5      0    5 
6      0    6 
7      0    7 
8      0    8 
9      0    9 
10     0   10 
11     0   11 
12     0   12 
13     0   13 
14     0   14 
15     0   15 
16     0   16 
17     0   17 
18     0   18 
19     0   19 
 
[20 rows x 2 columns] 
 
In [42]: df = pd.DataFrame({'date':t,'val':v}) 
 
In [43]: df['date'] = t.shift(365) 
 
In [44]: df 
Out[44]:  
         date  val 
0  2000-12-31    0 
1  2001-01-01    1 
2  2001-01-02    2 
3  2001-01-03    3 
4  2001-01-04    4 
5  2001-01-05    5 
6  2001-01-06    6 
7  2001-01-07    7 
8  2001-01-08    8 
9  2001-01-09    9 
10 2001-01-10   10 
11 2001-01-11   11 
12 2001-01-12   12 
13 2001-01-13   13 
14 2001-01-14   14 
15 2001-01-15   15 
16 2001-01-16   16 
17 2001-01-17   17 
18 2001-01-18   18 
19 2001-01-19   19 
 
[20 rows x 2 columns] 

通过执行类似 df.loc[:,'date'] 的操作看起来很相似。但是您实际上要说的不是用右侧的内容替换此列,而是使用行掩码覆盖(在这种情况下它恰好为空)。 dtype 转换未在此处完成,因为您可能会执行非常昂贵的操作。

当你只是简单地设置一个新列时,更喜欢直接的 setitem df[col] = val

这不是错误,而是经过深思熟虑的选择;我想我会对此做一个文档说明,因为这是我见过的第二个问题 w.r.t.对此,我想这有点令人困惑。