Skip to main content
 首页 » 编程设计

python之将不完整的日期列表与引用日期列表进行比较

2024年11月01日8findumars

我知道这是可能的。我知道有一个简单的解决方案,但我尝试过的所有方法都失败了。

这是交易:

我有一个 Excel 格式的数据集,其中包含 939,019 个气象站记录(行)。从 1/29/1993 16:30 到 6/30/2013 24:00,日期/时间间隔为每 10 分钟一次。如果我计算一下,很明显缺少行。

我需要知道缺失的日期/时间。如果我可以有一些小程序/脚本来返回缺失间隔的开始日期/时间和结束日期/时间,那就太好了。但我会对缺少的日期/时间列表感到满意。

为了弄清楚,我想,哦,我只需要一个引用列表来比较列表与缺失日期,并有一些标记或返回差距的方法。

因此,在 Excel 中,我在气象站数据旁边创建了一列,并在第一行填充了开始日期。随后的行仅将 10 分钟添加到其上方的单元格中。不幸的是,在这 20 年的跨度中,10 分钟间隔的数量超出了 excel 的处理范围。不用担心。它已经足够接近了(1/6/2013 10:50)。

无论如何,我尝试了 excel 中的 MATCH 函数,但这花费的时间太长了。在我打字的时候,它已经达到了 3%(使用 12 个处理器)。我有 30 个气象站(具有相同的日期范围)要做。我希望我能找到一种更快的方法来做到这一点。

所以,我接下来尝试了 Acess。我将文件(气象站数据和一个单独的引用日期列表)导入为 Access 中的表,并认为我只是做一个不匹配的查询,但出于某种原因(无论我如何格式化日期列(日期/时间,序列number),查询返回几乎所有不匹配的行。不知道为什么,它确实很快,但显然是错误的。

然后我想到 - Python!那样做,对吧?但我是一名 GIS 人员。我只使用过 Python 示例脚本来运行地理处理工具(或使用过 ESRi 的模型构建器)。我真的不知道从哪里开始。有什么指点吗?

请您参考如下方法:

首先,查看 python-excel.org xlrd、xlwt 和 xlutils 模块和文档(我假设您正在使用 .xls文件,而不是 .xlsx - 如果是这样,请查看 openpyxl )。安装它们后,通读文档以熟悉它们,它们不会太长或太复杂。实际比较应该不会太难:您需要做的就是读取单元格 N,将其值与单元格 N+1 进行比较,看看差异是否为 10 分钟。如果是,很好,转到下一个值。如果不是,则将值打印到新工作簿(或任何您想做的事情 - 插入一个包含缺失时间的空白行并再次计算,或者您有什么)。

我不知道运行大约 3000 万条记录需要多长时间,但我敢打赌它会比通过 Excel 本身更快 :)

祝你好运!