先举个简单的例子来说明情况。首先是已编译成可执行文件的源 .cpp:
#include <iostream>
using std::cout;
using std::endl;
int main()
{
cout << "Hello World!" << endl;
return 0;
}
此文件已制作成exe。现在在 python 中它被调用如下:
import subprocess
import sys
sys.path.append('C:\Foo\Bar')
output = subprocess.Popen("hello_world.exe", stdout=subprocess.PIPE)
print output.stdout.read()
所以这对于调用可执行文件并从标准输出返回输出来说效果很好。问题是,是否有任何可行的方法来执行此操作以返回可能很大的数组?据我了解,这基本上就像返回和读取文本文件一样,这会很慢!虽然我知道 SWIG 或 Cython 是使用 C++ 扩展 python 的选项,但我会发现每个功能的单独可执行文件更有条理和模块化!
TLDR:您能否以合理的速度将大型数组从可执行文件返回到 Python?还是使用 Cython/SWIG/ctypes 进行扩展是唯一的出路?
请您参考如下方法:
您有两个选择。
- subprocess.check_output 或类似的将整个程序输出作为字符串返回
- subprocess.popen 并增量读取。
在第一种情况下,输出必须适合 ram,否则会发生非常糟糕的事情。在第二种情况下,您可以设置缓冲区大小,然后您的子进程应该停止,直到您从缓冲区读取,此时它将再次继续。
cython/swig 等对减少内存占用没有任何作用。如果这是内存限制,那么您很可能想使用 python 并增量读/写到磁盘。 Python 在传递内存方面非常高效(即它不会执行 117 次内存复制,除非您告诉它这样做)。
