我正在从事一个需要处理大型 XML 文件的项目。使用 Python,我不可避免地看到了 Liza Daly 的文章,http://www.ibm.com/developerworks/library/x-hiperfparse/ .但是,我不明白她的 fast_iter 函数中一行的细节:
def fast_iter(context, func):
for event, elem in context:
func(elem)
elem.clear()
while elem.getprevious() is not None:
del elem.getparent()[0]
del context
为什么使用 while 循环而不是 if 语句?前一个元素怎么可能不止一个?
编辑:我忘了说我只在一个网站上看到一个我看不懂的 if 版本,无论如何,http://jsome.net/blog/2010/08/18/handle-large-xml-with-python .似乎几乎所有人都按原样使用 fast_iter。
如果我可以再问一个相关问题...
对于我的项目,我发现仅添加 elem.clear() 即可将内存占用量从 17+ GB 减少到 60 MB。进一步添加
while elem.getprevious() is not None:
del elem.getparent()[0]
仅将其减少到 40 MB。我还没有将我的上下文保存在变量中,所以我还没有尝试添加“del context”。无论哪种方式,60 MB 和 40 MB 对我来说都可以忽略不计。我是否有理由继续添加有问题的代码?
while elem.getprevious() is not None:
del elem.getparent()[0]
del context
预先感谢您的帮助!
请您参考如下方法:
我会先回答你的第二个问题,因为它看起来更重要:
假设您有一个包含 10000 个直接子树的节点。在父节点完成之前,仅执行 elem.clear 不会清除这些子树顶部的 10000 个节点。
如果您只有少量子树,这并没有太大区别。 (即使子树非常深,每个子树都会清除,所以只有每个子树的根存在。,所以 del elem.getparent()[ 0] 不会那么重要。而且可以想象,它对性能的损害甚至可能超过它对内存使用的帮助。因此,如果您知道要处理的 XML 类型,您可能想要以两种方式进行测试以查看。
但是如果您不知道您的代码将被调用以处理什么形状,则可能值得删除之前的兄弟。
关于第一个问题:
我以前从未见过这篇博文,但我以前在两个项目中写过类似的代码,而且我从未使用过while。事实上,在我看来这在另一个方面很笨拙——你不需要在 start 和 end 事件上都这样做;只需在 start 上删除之前的 child ,或者更简单地在 end 上删除自己,对吗?
但这篇博文大概是试图尽可能笼统。一方面,context 可能是一个 iterparse,它只提供 start 或 end,对吗?同时,func 可能会动态改变树。我有两个项目在 iterparse-ing 时动态地改变树 — 而且,虽然它们实际上都不需要这个循环,但这只是因为其中一个恰好在之后插入而不是插入之前。
正如 user1093967 指出的,lxml 文档部分 Modifying the tree说明您可能希望使用 while 而不是 if 的场景:如果您扩展代码以过滤搜索,您可以拥有多个 sibling 我们跳过了。
无论如何,与前面的情况不同,这里使用 while 而不是 if 或同时检查 start 和end,因此您不妨坚持使用完全通用的解决方案。
