我目前正在尝试使用 dask 解析大量文本文档+ spaCy . SpaCy 要求我加载一个相对较大的 Language 对象,我想为每个工作人员加载一次。我有几个映射函数想应用于每个文档,我希望不必为每个 future /函数调用重新初始化该对象。处理此问题的最佳方法是什么?
我正在谈论的例子:
def text_fields_to_sentences(
dataframe:pd.DataFrame,
...
)->pd.DataFrame:
# THIS IS WHAT I WOULD LIKE TO CHANGE
nlp, = setup_spacy(scispacy_version)
def field_to_sentences(row):
result = []
doc = nlp(row[text_field])
for sentence_tokens in doc.sents:
sentence_text = "".join([t.string for t in sentence_tokens])
r = text_data.copy()
r[sentence_text_field] = sentence_text
result.append(r)
return result
series = dataframe.apply(
field_to_sentences,
axis=1
).explode()
return pd.DataFrame(
[s[new_col_order].values for s in series],
columns=new_col_order
)
input_data.map_partitions(text_fields_to_sentences)
请您参考如下方法:
您可以将对象创建为延迟对象
corpus = dask.delayed(make_corpus)("english")
然后使用这个惰性值代替完整值:
df = df.text.apply(parse, corpus=corpus)
Dask 将在一台机器上调用一次 make_corpus,然后根据需要将其传递给工作人员。它不会重新计算任何任务。
