我目前正在使用一个函数来枚举特定数组(一个有向字母)中的所有循环,我需要它们。此函数将所有循环作为列表的列表返回(每个子列表都是一个循环,例如 result=[[0,1,0],[0,1,2,0]] 是一个包含 2 个循环的列表,开始和结束于 node 0).但是,有数百万个循环,所以对于大有向图,我得到一个内存错误(MemoryError:MemoryError()),因为包含所有循环的列表列表太大。
我希望该函数将结果拆分为多个数组,这样我就不会出现内存错误。那可能吗?这会解决问题吗?
我试图通过将结果数组拆分为子结果列表来做到这一点(子结果具有最大大小,比如 1000 万,低于此处规定的最大大小 5 亿:How Big can a Python Array Get?)。这个想法是结果是一个包含子结果的列表:result=[sub-result1, sub-result2]。但是,我得到了一个不同的内存错误:新解析器没有内存。
我的做法是这样的:
if SplitResult == False:
result = [] # list to accumulate the circuits found
# append cycles to the result list
if cycle_found(): #cycle_found() just for example
result.append(new_cycle)
elif SplitResult == True:
result = [[]] # list of lists to accumulate the circuits found
# append cycles to the LAST result SUB-lists
if cycle_found(): #cycle_found() just for example
result[len(result)-1].append(new_cycle)
# create a new sublist when the size of the LAST result SUB-lists
# reaches the size limit (ResultSize)
if len(result[len(result)-1]) == ResultSize:
result.append([])
也许问题是我合并了结果列表中的所有子结果。在这种情况下,如何从函数返回可变数量的结果?
特别是,我将 12 节点完整有向图的所有简单循环划分为 1000 万个循环的子列表。我知道总共有 115,443,382 个循环,所以我应该得到一个包含 16 个子列表的列表,前 15 个包含 1000 万个循环,最后一个包含 443,382 个循环。取而代之的是,我得到了一个不同的内存错误:新解析器没有内存。
此过程适用于返回 2 个子列表的 11 节点完整有向图,第一个包含 1000 万个循环 (10000000),另一个包含 976184。如果有任何帮助,它们的内存占用量是
>>> sys.getsizeof(cycles_list[0])
40764028
>>> sys.getsizeof(cycles_list[1])
4348732
然后,我想我们应该加上列出的每个循环的大小:
>>> sys.getsizeof(cycles_list[0][4])
56
>>> cycles_list[0][4]
[0, 1, 2, 3, 4, 0]
非常欢迎任何帮助,
感谢阅读,
亚历克斯
请您参考如下方法:
感谢您的建议。实际上,在返回数组时避免内存问题的正确方法就是避免创建如此大的结果数组。因此,生成器函数是前进的方向。
生成器函数在这里有很好的解释:What does the "yield" keyword do in Python? 我只想补充一点,在您向其中添加 yield 的那一刻,普通函数就变成了生成器函数。此外,如果您添加 return 语句,迭代的生成将在到达它时结束(一些生成器函数没有“return”,因此是无限的)。
尽管生成器的使用很简单,但我还是很难将原始函数转换为生成器函数,因为它是一个递归函数(即调用自身)。但是,此条目显示递归生成器函数看起来如何 Help understanding how this recursive python function works?这样我就可以将它应用到我的函数中。
再次感谢大家的支持,
亚历克斯
