Skip to main content
 首页 » 编程设计

python之如何使用 Pandas 从csv中删除特殊字符

2024年11月24日9jpfss

目前正在清理 csv 文件中的数据。成功地把所有的东西都变成小写,删除了停用词和标点符号等。但需要删除特殊字符。例如,csv 文件包含诸如“César”“‘disgrace’”之类的内容。如果有办法替换这些字符,那就更好了,但我可以删除它们。以下是我目前的代码。

import pandas as pd 
from nltk.corpus import stopwords 
import string 
from nltk.stem import WordNetLemmatizer 
 
lemma = WordNetLemmatizer() 
 
pd.read_csv('soccer.csv', encoding='utf-8') 
df = pd.read_csv('soccer.csv') 
 
df.columns = ['post_id', 'post_title', 'subreddit'] 
df['post_title'] = df['post_title'].str.lower().str.replace(r'[^\w\s]+', '').str.split() 
 
 
stop = stopwords.words('english') 
 
df['post_title'] = df['post_title'].apply(lambda x: [item for item in x if item not in stop]) 
 
df['post_title']= df['post_title'].apply(lambda x : [lemma.lemmatize(y) for y in x]) 
 
 
df.to_csv('clean_soccer.csv') 

请您参考如下方法:

保存文件时尝试:

df.to_csv('clean_soccer.csv', encoding='utf-8-sig') 

或者只是

df.to_csv('clean_soccer.csv', encoding='utf-8')