我正在使用 tweepy 来捕获推特数据,我想知道我是否有如何将推文导出到 json、txt 或 csv 文件? 我的代码:
#coding = utf-8
import json
import tweepy
from tweepy import OAuthHandler
from tweepy import Stream
from tweepy.streaming import StreamListener
consumer_key = "my_consumer_key"
consumer_secret = "my_consumer_secret"
access_token = "my_acess_token"
access_token_secret = "my_acess_token_secret"
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)
def saida_json(tweet):
with open('tweet.json', 'a', encoding='utf-8') as f:
json.dump(tweet, f)
def saida_txt(tweet):
with open('tweet.txt', 'a', encoding='utf-8') as f:
for linha in tweet:
f.write(tweet + '\n')
name = "usersl"
tweetCount = 20
public_tweets = api.home_timeline()
user_tweets = api.user_timeline(id=name, count=tweetCount)
for tweet in user_tweets:
print(tweet.user.screen_name, tweet.text)
saida_txt(tweet.text)
saida_json(tweet)
我尝试过通过函数来实现,但每次都会出错。在 txt 文件中,它只写了第一条推文和 json,通知“它没有序列化”。 我的错误在哪里?
请您参考如下方法:
如果您尝试将您的 tweet 写入 JSON 文件,json.dump 将尝试将其转换为 JSON 格式。这个过程称为 serialization . json.dump 仅支持默认编码器中的一小部分类型,您可以阅读 in the Python documentation .由于 tweeps 用来表示 Tweet 的类不是这些类型的一部分,因此 json 模块会引发您提到的异常。
作为一种解决方案,您可以序列化包含有关推文的各种数据的字典,这是一个示例:
def tweet_to_json(tweet):
tweet_dict = {
"text": tweet.text,
"author_name": tweet.user.screen_name
}
with open('tweet.json', 'w+') as f:
json.dump(tweet_dict, f)
请注意,对 JSON 文件使用追加模式通常不是一个好主意。您可以改用 JSON 列表。 This reply to another question可能会帮助你。
编辑:这是保存 JSON 列表的示例:
result = []
for tweet in api.user_timeline(id=name, count=tweetCount):
result.append({
'text': tweet.text,
'author_name': tweet.user.screen_name
})
with open('tweet.json', 'w+') as f:
json.dump(result, f)
