目前正在清理 csv 文件中的数据。成功地把所有的东西都变成小写,删除了停用词和标点符号等。但需要删除特殊字符。例如,csv 文件包含诸如“César”“‘disgrace’”之类的内容。如果有办法替换这些字符,那就更好了,但我可以删除它们。以下是我目前的代码。
import pandas as pd
from nltk.corpus import stopwords
import string
from nltk.stem import WordNetLemmatizer
lemma = WordNetLemmatizer()
pd.read_csv('soccer.csv', encoding='utf-8')
df = pd.read_csv('soccer.csv')
df.columns = ['post_id', 'post_title', 'subreddit']
df['post_title'] = df['post_title'].str.lower().str.replace(r'[^\w\s]+', '').str.split()
stop = stopwords.words('english')
df['post_title'] = df['post_title'].apply(lambda x: [item for item in x if item not in stop])
df['post_title']= df['post_title'].apply(lambda x : [lemma.lemmatize(y) for y in x])
df.to_csv('clean_soccer.csv')
请您参考如下方法:
保存文件时尝试:
df.to_csv('clean_soccer.csv', encoding='utf-8-sig')
或者只是
df.to_csv('clean_soccer.csv', encoding='utf-8')
