我目前有以下 csv 编写器类:
class csvwriter():
writer = None
writehandler = None
@classmethod
def open(cls,file):
cls.writehandler = open(file,'wb')
cls.writer = csv.writer(cls.writehandler, delimiter=',',quotechar='"', quoting=csv.QUOTE_NONNUMERIC)
@classmethod
def write(cls,arr):
cls.writer.writerow(arr)
@classmethod
def close(cls):
cls.writehandler.close()
它可以生成正确的 csv 文件,而无需一次将整个数组存储在内存中。
但是,使用此代码创建的文件可能非常大,因此我希望压缩它们,而不是将它们未压缩地写入。 (为了节省磁盘使用量)。我也无法有效地将文件存储在内存中,因为我预计超过 20gb 的文件是经常发生的。
结果文件的接收者通常不是他们 PC 的系统管理员,他们也不都使用 Linux,因此我在能够用于此任务的算法类型方面受到限制。最好,该解决方案将使用在 Windows、OSX 和任何 Linux 发行版中 native 可读(不需要可执行文件)的压缩方案。
我发现 gzip 在 Python 中提供了一个非常方便的界面,但在 Windows 中读取 gzip 文件似乎很麻烦。理想情况下我会把它们放在一个 zip 存档中,但 zip 存档不允许你追加数据到存档中已经存在的文件,然后迫使我将整个文件存储在内存中,或者将数据写入几个我可以放入内存的较小文件。
我的问题:是否有一种解决方案可以两全其美?在最终用户的机器上读取目标格式的工具的广泛可用性,以及附加的能力,而不是一次性写入整个文件?
提前感谢您的考虑!
请您参考如下方法:
gzlog可能会提供您正在寻找的功能。它有效地将短字符串附加到 gzip 文件,适用于将短消息附加到长日志的应用程序。
