Skip to main content
 首页 » 编程设计

python之Python 中二元输出拆分算法的优化

2025年05月04日21JustinYoung

我对这个拆分函数有疑问。函数基本上采用一个字符串,例如 word = 'optimization' 并根据生成的随机数定义它的拆分点,并将其拆分为二元语法。 '0' 标记表示词尾。考虑下面的词;左侧是输入,函数应该给出所有可能的输出之一,概率与相同单词的任何输出相同:

'optimization' = [['op', 'ti'], ['ti', 'mizati'], ['mizati', 'on'], ['on', '0'] 

问题:当我分析我所有的函数时,这个拆分函数消耗了最多的运行时间(处理 10 万个单词),但我一直在优化它。在这一点上我需要一些帮助。也可能有更好的方法,但我受限于自己的观点。

from numpy import mod 
import nltk    
 
def random_Bigramsplitter(word): 
    spw = [] 
    length = len(word) 
    rand = random_int(word)  # produce random number in respect to len(word) 
 
    if rand == length:  # probability of not dividing 
        return [tuple([word, '0'])] 
    else: 
        div = mod(rand, (length + 1))  # defining division points by mod operation 
        bound = length-div 
        spw.append(div) 
        while div != 0: 
            rand = random_int(word) 
            div = mod(rand, (bound + 1)) 
            bound = bound-div 
            spw.append(div) 
        result = spw 
 
    b = 0 
    points = [] 
    for x in range(len(result) - 1):  # calculating splitting points in respect to array structure 
        b += result[x] 
        points.append(b) 
 
    xy = 0 
    t = [] 
    for i in points: 
        t.append(word[xy:i]) 
        xy = i 
 
    if word[xy: len(word)] != '': 
        t.append(word[xy: len(word)]) 
 
    t.extend('0') 
    c = [b for b in nltk.bigrams(t)] 
 
    return c 

请您参考如下方法:

可以替换

c = [b for b in nltk.bigrams(t)] 

与

def get_ngram(word, n): 
    return zip(*[word[i:] for i in xrange(n)]) 
 
c = [b for b in get_ngram(t, 2)] 

这似乎更快。我并不是说这是最快的解决方案。

有更多关于优化二元组速度的答案。这似乎是一个很好的起点:Fast n-gram calculation ,我的代码片段来自:http://locallyoptimal.com/blog/2013/01/20/elegant-n-gram-generation-in-python/