我有一个包含 10 个 docx 文件的文件夹。我正在尝试创建一个语料库,它应该是一个长度为 10 的列表。列表的每个元素都应该引用每个 docx 文档的文本。
我有以下功能可以从 docx 文件中提取文本:
import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader
import glob
from docx import *
def getText(filename):
document = Document(filename)
newparatextlist = []
for paragraph in document.paragraphs:
newparatextlist.append(paragraph.text.strip().encode("utf-8"))
return newparatextlist
path = 'pat_to_folder/*.docx'
files=glob.glob(path)
corpus_list = []
for f in files:
cur_corpus = getText(f)
corpus_list.append(cur_corpus)
corpus_list[0]
但是如果我的word文档中有如下内容: http://www.actus-usa.com/sampleresume.doc https://www.myinterfase.com/sjfc/resources/resource_view.aspx?resource_id=53
上面的函数创建了一个list of list。我怎样才能简单地从文件中创建一个语料库?
TIA!
请您参考如下方法:
我尝试了一些不同的方法来解决我的问题。它还包括将各种 docx 文件加载到语料库中……我对您的代码做了一些细微的更改!
def getText(filename):
doc = Document(filename)
fullText = []
for para in doc.paragraphs:
fullText.append(para.text.strip("\n"))
return " ".join(fullText)
PATH = "path_to_folder/*.docx"
files = glob.glob(PATH)
corpus_list = []
for f in files:
cur_corpus = getText(f)
corpus_list.append(cur_corpus)
希望这能解决问题!
