Skip to main content
 首页 » 编程设计

python之使用python的二元函数

2024年10月25日17thcjp

我想使用 python 计算文件中所有双字母组(一对相邻单词)的出现次数。在这里,我正在处理非常大的文件,所以我正在寻找一种有效的方法。我尝试在文件内容上使用带有正则表达式“\w+\s\w+”的计数方法,但事实证明它并不有效。

给定包含术语的列表列表,返回出现频率最高的 双字母组。返回值应该是形式为 (bigram, count),降序排列,限于前n个二元组。在例子中 下面提供了两份文件;前两个双字母组是 'b c' (3 出现次数)和'a b'(出现 2 次)。 这是我试过的,但它列出了所有双字母组的计数..

from itertools import tee, islice 
def find_top_bigrams(terms,n): 
    tlst = terms 
    while True: 
        a, b = tee(tlst) 
        l = tuple(islice(a, n)) 
        if len(l) == n: 
          yield l 
          next(b) 
          tlst = b 
        else: 
          break 
 
 
find_top_bigrams([['a', 'b', 'c', 'd'], ['b', 'c', 'a', 'b', 'c']], 2) 
>>[('b c', 3), ('a b', 2)] 

我希望 find_top_bigrams 函数列出最多两次输出。

请您参考如下方法:

如果数据适合内存,collections.Counter 就是您的 friend 。

import collections 
 
def list_to_bigrams(somelist): 
    it = iter(somelist) 
    old = next(it, None) 
    for new in it: 
        yield old, new 
        old = new 
 
def find_top_bigrams(n, *manylists): 
    c = collections.Counter() 
    for somelist in manylists: 
        c.update(list_to_bigrams(somelist)) 
    return c.most_common(n) 

如果数据太大而无法放入内存,那么您将不得不在磁盘上工作——速度要慢得多,但是,对于数十 GB 或更多的数据,您还能做什么?对于这种“大数据”情况,有一些可用的策略——一直到复杂的分布式方法(例如 mapreduce),再到基于合并和排序普通磁盘文件的简单单处理器方法。

如果您能更好地解释您的运营参数,我可以告诉您更多有关适当的策略或策略的信息。但从你的例子来看,“非常大的文件”对你的意义可能与对我的意义不同(数十或数百 GB 是中等大小——使用“大”这个词需要 TB 级,等等)比“非常大”)。

所以对于我上面给出的代码,调用会略有不同:

find_top_bigrams(2, ['a', 'b', 'c', 'd'], ['b', 'c', 'a', 'b', 'c']) 
[(('b', 'c'), 3), (('a', 'b'), 2)] 

首先是数字 2,因此所有其余参数都可以是一个列表(而不是必须使用不太优雅的列表列表)。但是,当然,如果必须的话,切换 args 是微不足道的——只需将 def 语句更改为

def find_top_bigrams(manylists, n): 

您可以完全使用您在示例中给出的调用语法,而我在上面建议的其余代码保持不变。

补充:特别地,输出似乎被限制为字符串而不是元组——微不足道的变化(虽然是对良好 CPU 周期的可怕浪费),只需更改

yield old, new 

到

yield old + ' ' + new 

或其他选择的格式化操作(但这是最简单的)。当然,通过这个微不足道的更改,结果将变为 [('b c', 3), ('a b', 2)]。