Skip to main content
 首页 » 编程设计

python之我应该如何在 dask 分布式中为每个 worker 加载一个内存密集型帮助对象

2024年11月01日9over140

我目前正在尝试使用 dask 解析大量文本文档+ spaCy . SpaCy 要求我加载一个相对较大的 Language 对象,我想为每个工作人员加载一次。我有几个映射函数想应用于每个文档,我希望不必为每个 future /函数调用重新初始化该对象。处理此问题的最佳方法是什么?

我正在谈论的例子:

def text_fields_to_sentences( 
    dataframe:pd.DataFrame, 
    ... 
)->pd.DataFrame: 
  # THIS IS WHAT I WOULD LIKE TO CHANGE 
  nlp, = setup_spacy(scispacy_version) 
 
  def field_to_sentences(row): 
    result = [] 
    doc = nlp(row[text_field]) 
    for sentence_tokens in doc.sents: 
      sentence_text = "".join([t.string for t in sentence_tokens]) 
      r = text_data.copy() 
      r[sentence_text_field] = sentence_text 
      result.append(r) 
    return result 
  series = dataframe.apply( 
    field_to_sentences, 
    axis=1 
  ).explode() 
  return pd.DataFrame( 
      [s[new_col_order].values for s in series], 
      columns=new_col_order 
  ) 
 
input_data.map_partitions(text_fields_to_sentences) 

请您参考如下方法:

您可以将对象创建为延迟对象

corpus = dask.delayed(make_corpus)("english") 

然后使用这个惰性值代替完整值:

df = df.text.apply(parse, corpus=corpus) 

Dask 将在一台机器上调用一次 make_corpus,然后根据需要将其传递给工作人员。它不会重新计算任何任务。