Skip to main content
 首页 » 编程设计

python之存储和处理大量时空数据

2025年05月04日11mengfanrong

作为我们研究小组的一部分,我们正在收集大量位置数据。我们的数据基本上看起来像(用户 ID、纬度/经度坐标、时间戳)。还涉及其他元数据,但此处不相关。 我们每周收集大约 2-3 百万条记录,预计在适当的时候收集大约一年的数据。

我真的很想得到一些关于存储和处理这些数据的技术方面的建议。我们希望能够回答类似于以下的查询:

(1) 对于给定位置,在指定时间段内谁在该位置附近(在指定距离内)?

(2) 哪些位置彼此靠近?

这是一般的想法。我们不需要实时响应,但什么是好的数据库(或其他数据存储软件)?我遇到过谈论 k-d 树的人,在这种规模下是否有效?我需要什么样的硬件?我希望得到指向一般策略的指示。我们如何存储这些数据?将其全部存储在数据库中是否有意义?哪些数据/软件/包适合距离/半径计算?

我们最熟悉 Python/Linux,更愿意远离 Java 而更喜欢开源/免费软件。我们对这一切都是陌生的,书籍和论文的指针也会很有用。所有和任何建议都会非常有用。

请您参考如下方法:

PostGIS可能是你要找的。