我有这样一段文字:
我需要标记文本:每行一个词,在句子末尾空一行。 问题是,有些句子没有“.”。在最后。所以我需要把“。”和换行符,如果有 nu 标点符号。
input = "europarltokenized.txt"
output = "europarlpreprocessing.txt"
nline = "\n"
with open(input, "r") as file:
with open(output, "w") as file2:
for line in file:
if not line.startswith("<"):
line=line.split()
for elem in line:
file2.write(elem + "\n")
if elem == "." or elem=="!" or elem =="?":
file2.write("\n")
请您参考如下方法:
我不知道 Europarl 会怎样,但是 nltk包括波兰语的句子分割模型:
import nltk.data
tokenizer = nltk.data.load('tokenizers/punkt/polish.pickle')
text = u'''Unia Europejska, UE – gospodarczo-polityczny związek 28
demokratycznych państw europejskich. Unia powstała 1 listopada 1993 na
mocy podpisanego 7 lutego 1992 traktatu z Maastricht jako efekt
wieloletniego procesu integracji politycznej, gospodarczej i
społecznej. Korzenie współczesnej integracji europejskiej sięgają
okresu powojennego i ograniczały się do 6 państw
zachodnioeuropejskich.'''
ss = tokenizer.tokenize(text)
这适用于来自维基百科的文本:
>>> ss
[u'Unia Europejska, UE \xe2\x80\x93 gospodarczo-polityczny ...',
u'Unia powsta\xc5\x82a 1 listopada 1993 na\nmocy podpisanego ...',
u'Korzenie wsp\xc3\xb3\xc5\x82czesnej integracji europejskiej ...']
