Skip to main content
 首页 » 编程设计

python之在调查中补偿 "variance"

2025年05月04日9bjzhanghao

这个标题很棘手。

我正在尝试解决一个场景, 想象一下,向 XXXXX 人发送了一项调查,询问他们最喜欢的足球俱乐部是什么。 从回复中可以明显看出,虽然很多人都是同一家具乐部的热门,但他们都以不同的方式“表达”了这一点。 例如,

对于曼联,一些变化包括...

  • 曼宇
  • 曼联。
  • 曼联。
  • 曼彻斯特大学
  • 曼联

所有这些显然都是同一个俱乐部,但是,如果使用一种简单的技术,只是试图获得一个提取字符串匹配,则每个都会是一个单独的结果。

现在,如果我们将场景进一步复杂化,假设由于不同俱乐部(例如曼城、M.City、曼彻斯特城等)的庞大数量,再次受到这个问题的困扰,不可能手动“输入”这些差异并使用它来创建自定义过滤器,以便转换所有 Man U -> Manchester United,Man Utd。 > Manchester United 等。但相反,我们希望自动执行此过滤器,以寻找最有可能的匹配项并相应地转换数据。

我正尝试在 Python 中(从 .cvs 文件)执行此操作,但是欢迎任何概述解决此问题的好方法的伪答案。

编辑:一些附加信息 这不是根据固定的俱乐部列表进行的,我们的想法是将我们拥有的俱乐部“聚集”在一起。 假设没有拼写错误。 有多少俱乐部没有假设的长度 而且调查 list 很长。足够长以至于不能保证手动执行此操作(1000 次查询)

请您参考如下方法:

Google Refine 就是这样做的,但我假设您想要自己推出。

请注意,difflib 内置于 Python 中,具有许多功能(包括消除垃圾元素)。我会从那开始。

您可能不想以完全自动化的方式进行操作。我会做这样的事情:

# load corrections file, mapping user input -> output 
# load survey 
import difflib 
 
possible_values = corrections.values() 
 
for answer in survey: 
    output = corrections.get(answer,None) 
    if output = None: 
        likely_outputs = difflib.get_close_matches(input,possible_values) 
        output = get_user_to_select_output_or_add_new(likely_outputs) 
        corrections[answer] = output 
        possible_values.append(output) 
save_corrections_as_csv