Skip to main content
 首页 » 编程设计

python之避免 hdf5 或 sqlite 中的重复数据

2024年10月24日14qq78292959

我正在获取 30 天的历史数据并对其进行修改。

希望我可以读取历史数据并让它引用 30 天的动态滚动日期。 'DateTime' 值是原始数据中的一列。

df_new = df = pd.read_csv(loc+filename) 
max_date = df_new['DateTime'].max() 
date_range = max_date - Timedelta(30, unit='d') 
 
df_old = pd.read_hdf(loc+filename,'TableName', where = [('max_date > date_range')]) 

然后我会读取新数据,这是一个单独的文件,它始终是月初至今的值(例如整个六月,这个文件每天都会用最新数据替换),并将它们连接到旧数据框。

frames = [df_old, df_new] 
df = pd.concat(frames) 

然后我对文件做了一些事情(我正在检查某些值是否在 30 天的窗口内重复,如果重复,我会在列中放置一个时间戳)。

现在我想将这个修改后的数据添加回我的原始文件(它是 HDF5,但它也可以是一个 .sqlite 文件)称为 df_old。可以肯定的是,由于我正在读取前 30 天的数据和 MTD 数据,因此存在大量重复项。我该如何管理?

我唯一的解决方案是读取整个文件(df_old 以及我添加的新数据),然后删除重复项,然后再次覆盖它。这不是很有效。

.sqlite 或 .hdf 格式可以强制不重复吗?如果是这样,那么我有 3 列标识唯一值(Date、EmpID、CustomerID)。我不想要完全重复的行。

请您参考如下方法:

将它们定义为sqlite 中的主键。它不允许您拥有一组非唯一的主键。

例如

CREATE TABLE table ( 
a INT, 
b INT, 
c INT, 
PRIMARY KEY(a,b) 
); 

不允许您将 a,b 的副本添加到数据中。然后使用 INSERT OR IGNORE 添加数据,任何重复项都将被忽略。

http://sqlite.org/lang_insert.html