Skip to main content
 首页 » 编程设计

python之如何从任何非 unicode\特殊字符、html 标记、js 中清除字符串之保留纯文本和标点符号之在 python 中

2025年02月15日29grandyang

我已经阅读了很多类似的问题,但没有找到解决我在数据清理过程中遇到的所有问题的方法。

我有一个脚本可以抓取一组网站并从页面正文中获取特定的文本 block 。

我遇到的问题是文本中仍然存在 html 标记、不同的引号符号(例如不是 ' 而是 ` 或更糟的情况)、& 等内容。

现在我通过自己的清理函数解析文本,但它们并不完美,仍然遗漏了一些情况。

我想知道是否有一个程序包或通用方法可以从所有这些情况中清理一个字符串,并将 ` 转换为 ' 等字符?

请您参考如下方法:

您可以使用 HTMLParser 模块。

在 python 2 上: 从 HTMLParser 导入 HTMLParser

class MLStripper(HTMLParser): 
def __init__(self): 
    self.reset() 
    self.fed = [] 
def handle_data(self, d): 
    self.fed.append(d) 
def get_data(self): 
    return ''.join(self.fed) 
 
def strip_tags(html): 
    s = MLStripper() 
    s.feed(html) 
    return s.get_data() 

在 python 3 上:

from html.parser import HTMLParser 
 
class MLStripper(HTMLParser): 
def __init__(self): 
    self.reset() 
    self.strict = False 
    self.convert_charrefs= True 
    self.fed = [] 
def handle_data(self, d): 
    self.fed.append(d) 
def get_data(self): 
    return ''.join(self.fed) 
 
def strip_tags(html): 
    s = MLStripper() 
    s.feed(html) 
    return s.get_data()