Skip to main content
 首页 » 编程设计

python之降低计算精度以加快执行速度

2024年12月31日9fff_TT

我有一个数据采集系统,它进行几分钟的测量并生成一个包含 1000 万行和 10 列的 csv 文件。然后我在 Python (csv.reader) 中导入这个 csv 文件,对获取的数值数据执行一堆操作(但一次“只能”10000 行,否则计算机内存会被淹没)。最后,我将结果导出到另一个小得多的 csv 文件 (csv.writer) 中。 问题是运行时间很长,我想加快速度。当我用记事本打开原始 csv 文件时,我看到每个数字最多有 16 位数字,例如 0.0015800159870059、12.0257771094508 等。我知道 DAQ 的准确度最多为 0.1%,大部分尾随数字都是噪音。有没有一种优雅的方法可以强制 Python 全局从头到尾仅使用 7-8 位数字进行运算,以加快计算速度?我知道错误传播,我将尝试不同的数字位数设置以查看最佳值。 请注意,仅构建一个带有“截断”数据(例如包含 0.0015800、12.0257771 等)的临时 csv 文件并将其简单地导入 Python 是不够的。 Python 中的计算也应使用降低的精度。我查看了 decimal 模块,到目前为止没有成功。

with open(‘datafile’,newline='') as DAQfile: 
    reader=csv.reader(DAQfile,delimiter=',') 
    for row in reader: 
       … calculate stuff… 
 
with open('results.csv','w',newline='') as myfile: 
    mywriter = csv.writer(myfile) 
    …write stuff… 

根据目前的评论添加一些细节: 该程序计算“瞬时功率”移动平均值的峰值。 csv文件中的数据可以这样描述,其中'col'表示列,V表示电压,I表示电流:col1=time,col2=V1,col3=I1,col4=V2,col5=I2等等,直到col11=V10,col12=I10。所以每一行代表数据采集采集的一个数据样本。 瞬时功率为Pi=V1*I1+V2*I2+...+V11*I11 为了一次计算超过 10000 行的移动平均值,我构建了一个缓冲区(使用 Buffer=[0]*10000 初始化)。此缓冲区将存储 Pi 的 10000 个连续行,并且每次 csv.reader 移动到下一行时都会更新。缓冲区的工作方式与移位寄存器完全一样。 这样内存使用量是微不足道的(已验证)。总之,计算是乘法、加法、min(a,b) 函数(检测移动平均线的峰值)和用于刷新缓冲区的删除/追加。移动平均线本身也是迭代的,类似于 newavg=oldavg+(newlast-oldfirst)/bufsize。 我的想法是,当我知道大多数尾随数字都是垃圾时,让 Python 处理所有这些小数没有任何意义。 忘记提及来自 DAQ 的 csv 文件的大小不到 1Gb。

请您参考如下方法:

是的,有办法 - 使用 NumPy .首先,有大量的矢量/矢量操作,可以用一个命令执行

a = b + c 

将有效地对两个向量求和。

其次,这就是你问题的答案,你可以指定 4bytes float 类型,大大减少内存需求并提高速度。

你应该直接使用阅读你的文件

from numpy import genfromtxt 
data = genfromtxt('datafile.csv', dtype=numpy.float32, delimiter=',') 
... 

data 将由标准的 32 位 float 组成,大约 7 位精度。

CSV 文件可以按部分/束读取

numpy.genfromtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, 
skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, 
usecols=None, names=None, excludelist=None, deletechars=None, replace_space='_', 
autostrip=False, case_sensitive=True, defaultfmt='f%i', 
unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, 
encoding='bytes') 

这里是完整的参数列表。如果 max_rows 设置为 10,则只会读取 10 行。默认是读取整个文件。您可以通过 skip_header 选项跳过一些初始记录来读取文件中间的任何内容。