Skip to main content
 首页 » 编程设计

python之文本预处理

2025年02月15日7xxx_UU

我有这样一段文字:

我需要标记文本:每行一个词,在句子末尾空一行。 问题是,有些句子没有“.”。在最后。所以我需要把“。”和换行符,如果有 nu 标点符号。

input = "europarltokenized.txt" 
output = "europarlpreprocessing.txt" 
nline = "\n" 
 
with open(input, "r") as file: 
    with open(output, "w") as file2: 
        for line in file: 
            if not line.startswith("<"): 
                line=line.split() 
                for elem in line: 
                    file2.write(elem + "\n") 
                    if elem == "." or elem=="!" or elem =="?": 
                        file2.write("\n") 

请您参考如下方法:

我不知道 Europarl 会怎样,但是 nltk包括波兰语的句子分割模型:

import nltk.data 
tokenizer = nltk.data.load('tokenizers/punkt/polish.pickle') 
 
text = u'''Unia Europejska, UE – gospodarczo-polityczny związek 28 
demokratycznych państw europejskich. Unia powstała 1 listopada 1993 na 
mocy podpisanego 7 lutego 1992 traktatu z Maastricht jako efekt 
wieloletniego procesu integracji politycznej, gospodarczej i 
społecznej. Korzenie współczesnej integracji europejskiej sięgają 
okresu powojennego i ograniczały się do 6 państw 
zachodnioeuropejskich.''' 
 
ss = tokenizer.tokenize(text) 

这适用于来自维基百科的文本:

>>> ss 
[u'Unia Europejska, UE \xe2\x80\x93 gospodarczo-polityczny ...', 
 u'Unia powsta\xc5\x82a 1 listopada 1993 na\nmocy podpisanego  ...', 
 u'Korzenie wsp\xc3\xb3\xc5\x82czesnej integracji europejskiej ...']