Skip to main content
 首页 » 编程设计

python之dask csv 阅读顺序

2025年02月15日11JeffreyZhao

我有一个时间序列,其值存储在不同的 csv 中。 每个 csv 都经过排序并包含一个变量秒,这是一个时间扫描。

    df = dd.read_csv('/home/data/derived/ips_subnets.7days/*') 
df.head() 
 
          seconds                IP        subnet 
    0  1477252800  Private-10.0.0.0   10.101.15.6 
    1  1477252800  Private-10.0.0.0  10.102.223.2 
    2  1477252800  Private-10.0.0.0  10.104.15.43 
    3  1477252800  Private-10.0.0.0  10.104.5.241 
    4  1477252800  Private-10.0.0.0  10.106.15.26   

现在如何设置 csv 文件应根据变量 seconds 顺序读取?

请您参考如下方法:

默认情况下 dask.dataframe.read_csv 按字母顺序读取文件,因此如果您的文件名遵循标准命名方案,例如 2016-05-06.csv 那么您应该没问题。

如果需要,您可以使用 dask.delayed 自定义它.这是一个类似的 example notebook .

最后,您始终可以调用 df = df.set_index('seconds'),但是这比其他方法慢得多,并且需要对数据进行全面扫描。