我正在尝试从任意非结构化文本(主要是网站)中提取(邮政)地址。我的想法是使用(半)监督机器学习算法来解决这个问题。我有一个相当大的地址语料库,可用于训练算法。训练完成后,我想输入任意文本 block ,然后取出任何类似于该文本中地址的内容。我想匹配将部分基于结构相似性,部分基于匹配关键字(城市名称等)。
我不太确定的是,现有库已经涵盖到什么程度,或者我自己必须走多远。我是否必须使用自然语言处理分解一段文本,然后使用文本相似性分析?或者是否有一种简单的技术或库可以在很大程度上自行处理这个问题?
为此,我目前正在 Python 中使用 NLTK 和 scikit-learn。我敢肯定,一旦我知道要查找的正确关键字和技术,我就能找出解决方案,但我是这个领域的新手,希望对如何最好地解决这个问题有一个高层次的概述。
请您参考如下方法:
鉴于您会在数据中发现大量变化和噪音,我怀疑您不会在这里得到任何简单的解决方案。从自由文本中解析邮政地址本身就是一个困难的研究问题;根据解析代理(基于人或机器)的结果训练分类器增加了几个级别的复杂性。
如果您处理的是美国地址,the answer to this previous question概述了最常见的解析方法。
