<分区> 分区>
我不是经验丰富的 Python 编码员,所以请保持温和。
我有一个非常大(100 GB)的二进制文件,需要一个特定的命令行工具(这里称为 parseTool)来解析它。 parseTool 的输出格式是简单的原始文本,我正在对其进行一些基本处理(计算值等)。
在我考虑在集群上运行我的代码的多个实例之前,我想确保我做事的效率相当高。
这是我用来迭代 parseTool 输出的内容:
proc = subprocess.Popen(procTool +' myFile.file ',
shell=True,
stdout=subprocess.PIPE)
for line in proc.stdout:
linep=line.split("\t")
#process each line until end of stream
明确地说,我主要关心的是如何有效地迭代 parseTool 的输出。有什么有用的提示吗?
