Skip to main content
 首页 » 编程设计

读取文件时python char替换

2025年04月02日9xing901022

我有一个包含以下组成的文本/csv 文件。 800万条记录或更多

1, 10721, 12478, 5, 0, 0, 0,"A1","0555" 
1, 10722, 12479, 1, 0, 0, 0,"A2","1555" 

其中前 7 列是整数,然后第 7 和第 8 列用 "字符引用。我想将第 8 列读取为整数,因为它是一天中的时间。

我的问题:如何删除这个 "字符并将此列用作整数而不是字符串,同时将计算/ram 保持在最小值。

目前我还在使用 numpy.genfromtxt。我注意到 dtype 是一个选项,但如果我为最后一列提供整数,它只会将其转换为 -1 而不是整数。

提前致谢!

请您参考如下方法:

我想到的一件事(请谨慎使用,因为我对 NumPy 几乎一无所知)是为第 8 列创建您自己的转换器(第一个是零):

假设您将数据放在一个文件中...eeeeermmm...称为 stack_063.csv。你可以这样做:

data = numpy.genfromtxt("stack_063.csv", dtype=int, delimiter=',', 
                        converters={ 
                            8: lambda x: float(x.replace('"', '')) / 100 
                        }) 
print(data) 

这样,您将获得如下列表:

[(1, 10721, 12478, 5, 0, 0, 0, -1, 5.55) 
 (1, 10722, 12479, 1, 0, 0, 0, -1, 15.55)] 

如果您想要一个 int,只需让您的转换器为:lambda x: int(x.replace('"', ''))

编辑:

更多地使用 NumPY,我发现您可能还可以做另一件事。那就是将第 8 列的数据类型声明为 numpy.object,然后从中获取实际的 datetime.time:

import numpy 
import datetime 
 
data_types = [ 
    numpy.uint16, 
    numpy.int_, 
    numpy.int_, 
    numpy.int_, 
    numpy.int_, 
    numpy.int_, 
    numpy.int_, 
    numpy.dtype((str, 35)), 
    numpy.object_ 
] 
data = numpy.genfromtxt("stack_063.csv", dtype=data_types, delimiter=',', 
                        converters={ 
                            7: lambda x: x.replace('"', ''), 
                            8: lambda x: datetime.datetime.strptime(x, '"%H%M"').time() 
                        }) 
print(data) 

这给出:

[(1, 10721, 12478, 5, 0, 0, 0, 'A1', datetime.time(5, 55)) 
 (1, 10722, 12479, 1, 0, 0, 0, 'A2', datetime.time(15, 55))] 

但是,我真的不知道这是否是个好主意......