我正在使用 Tweepy 在 Django 中使用 Twitter API。
我使用这个辅助函数来保存推文，它在大约 50% 的时间内工作，并在其余时间抛出“DataError:整数超出范围”异常 - 这目前在下面的代码和错误中被捕获推文已记录(供以后解析!)但现在是时候修复它了。
def read_tweet(tweet_data, current_user):
import logging
logger = logging.getLogger('django')
from coreapp.models import Tweet
from django.core.exceptions import ObjectDoesNotExist
from django.db import DataError
#We might get weird results where user has changed their details, so first we check the UID.
try:
#print "trying tweet_data.id"
current_tweet =Tweet.objects.get(id=tweet_data.id)
created=False
return current_user, created
except ObjectDoesNotExist:
pass
try:
current_tweet, created = Tweet.objects.get_or_create(
truncated=tweet_data.truncated,
text=tweet_data.text,
in_reply_to_status_id=tweet_data.in_reply_to_status_id,
id=tweet_data.id,
favorite_count=tweet_data.favorite_count,
author = current_user,
_json = tweet_data._json,
source=tweet_data.source,
retweeted=tweet_data.retweeted,
coordinates = tweet_data.coordinates,
entities = tweet_data.entities,
in_reply_to_screen_name = tweet_data.in_reply_to_screen_name,
id_str = tweet_data.id_str,
retweet_count = tweet_data.retweet_count,
in_reply_to_user_id = tweet_data.in_reply_to_user_id,
favorited = tweet_data.favorited,
user = tweet_data.user,
geo = tweet_data.geo,
in_reply_to_user_id_str = tweet_data.in_reply_to_user_id_str,
lang = tweet_data.lang,
created_at = tweet_data.created_at,
place = tweet_data.place)
return current_tweet, created
except(DataError), e:
try:
current_tweet, created = Tweet.objects.get_or_create(
text=tweet_data.text,
id=tweet_data.id,
author = current_user,
_json = tweet_data._json,
user = tweet_data.user,
created_at = tweet_data.created_at,
)
return current_tweet, created
except(DataError), e:
errormessage = {"errortweet": tweet_data._json}
print errormessage
logger.error(str(errormessage))
return None, None
模型.py
class Tweet(models.Model):
truncated=models.BooleanField(default=False)
text=models.TextField(max_length=140)
in_reply_to_status_id=models.BigIntegerField(blank=True, null=True)
id=models.BigIntegerField(primary_key=True)
favorite_count=models.BigIntegerField(default=0)
author = models.ForeignKey(User)
_json = models.TextField()
source=models.CharField(max_length=25)
retweeted=models.BooleanField(default=False)
coordinates = models.TextField(blank=True, null=True)
entities = models.TextField(blank=True, null=True)
in_reply_to_screen_name = models.CharField(max_length=25, blank=True, null=True)
id_str = models.CharField(max_length=25)
retweet_count = models.BigIntegerField(default=0)
in_reply_to_user_id = models.BigIntegerField(blank=True, null=True)
favorited = models.BooleanField(default=False)
retweeted_status = models.TextField()
user = models.TextField(blank=True, null=True) #User is a dictionary in the response; here we take a serialised version
geo = models.TextField(blank=True, null=True)
in_reply_to_user_id_str = models.CharField(max_length=25, blank=True, null=True)
possibly_sensitive = models.BooleanField(default=False)
lang = models.CharField(max_length=5)
created_at = models.DateTimeField()
in_reply_to_status_id_str = models.CharField(max_length=25, blank=True, null=True)
place = models.TextField(blank=True, null=True)
如果我禁用最后一个 try/except 以便它在 django Debug模式下出错，我会得到以下回溯:
Environment:
Request Method: GET
Request URL: http://127.0.0.1:8001/cursorsearch/surveillance/
Django Version: 1.6
Python Version: 2.7.5
Installed Applications:
('django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
'coreapp',
'silk',
'south')
Installed Middleware:
('silk.middleware.SilkyMiddleware',
'django.contrib.sessions.middleware.SessionMiddleware',
'django.middleware.common.CommonMiddleware',
'django.middleware.csrf.CsrfViewMiddleware',
'django.contrib.auth.middleware.AuthenticationMiddleware',
'django.contrib.messages.middleware.MessageMiddleware',
'django.middleware.clickjacking.XFrameOptionsMiddleware')
Traceback:
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/core/handlers/base.py" in get_response
114. response = wrapped_callback(request, *callback_args, **callback_kwargs)
File "/Users/dev/als/coreapp/views.py" in cursor_search
92. current_tweet, created = read_tweet(tweet, current_user)
File "/Users/dev/als/coreapp/tools.py" in read_tweet
173. created_at = tweet_data.created_at,
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/manager.py" in get_or_create
154. return self.get_queryset().get_or_create(**kwargs)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/query.py" in get_or_create
388. six.reraise(*exc_info)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/query.py" in get_or_create
380. obj.save(force_insert=True, using=self.db)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/base.py" in save
545. force_update=force_update, update_fields=update_fields)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/base.py" in save_base
573. updated = self._save_table(raw, cls, force_insert, force_update, using, update_fields)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/base.py" in _save_table
654. result = self._do_insert(cls._base_manager, using, fields, update_pk, raw)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/base.py" in _do_insert
687. using=using, raw=raw)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/manager.py" in _insert
232. return insert_query(self.model, objs, fields, **kwargs)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/query.py" in insert_query
1511. return query.get_compiler(using=using).execute_sql(return_id)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/models/sql/compiler.py" in execute_sql
898. cursor.execute(sql, params)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/backends/util.py" in execute
69. return super(CursorDebugWrapper, self).execute(sql, params)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/backends/util.py" in execute
53. return self.cursor.execute(sql, params)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/utils.py" in __exit__
99. six.reraise(dj_exc_type, dj_exc_value, traceback)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/django/db/backends/util.py" in execute
53. return self.cursor.execute(sql, params)
Exception Type: DataError at /cursorsearch/surveillance/
Exception Value: integer out of range
如您所见，所讨论的字段是 BigInts，因此应该适合较大的 Twitter ID，因为 Twitter 文档表明它们需要 64 位签名，所以我们被掩盖了。 我也试过，在 shell 中，显式转换为 Long 类型，这没有任何可能性。我还介绍了用不同的用户模型尝试它，这没有什么区别(用户模型之前保存没有问题，我可以通过 shell 或正常查询检索它们)。
我使用 Silk 检查 SQL，我可以看到成功的推文保存和不成功的推文保存之间的主要区别是成功的 SQL 中的 SQL 显式地将 NULL 分配给整数值(如“in_reply_to_user_id”)等 - 但是不可能吧？如果我在模型中指定 Null=True 的情况下没有任何分配，那应该没问题。
最多一天尝试立即解决此问题。 :)
编辑:我也只是尝试将 default=None 添加到这些字段，以防万一，但这也没有用，同样的错误。
第二次编辑: 成功使用 id 的一个例子是 524539416799617024，一个不成功的例子是 524539525209808896，所以应该没问题。实际上，我只是尝试使用以前保存的 tweet.id 从命令行执行此操作，并抛出相同的异常，所以它显然是其他东西 - 但我不知道是什么!
更多示例:成功保存推文 ID - 524822288437633024、524822389821939714 失败的推文:524822248499060736、524823331368091648
我已经通过分配在命令行中测试了这些 u = User.object.get_or_create(id=id_from_tweet) t = Tweet(id = 524823331368091648, user = current_user) 然后点击 t.save() - 同样的错误。
我也简单地检查了整数 a = -9223372036854775808，b = id，c = 9223372036854775808 和 a < b < c 结果为真。
在命令行上分配它之前，我还明确地将 int 强制为 Long，但也没有任何区别。
最终编辑:我没有得到具体的答案。看起来它可能与 JSON/SNowflake problem 有关- 它在途中被解析时被修改的地方。作为间歇性故障，我不太清楚为什么有的没问题，有的没问题，我也不是 100% 确定这是否是造成故障的原因，但看起来很有可能。
请您参考如下方法:
您检查过 BigIntegerField 类接受的内容了吗？确保它可以接受在初始化时传递给它的所有值。
来自documentation :
类 BigIntegerField([**选项]) 一个 64 位整数，很像 IntegerField，除了它保证适合从 -9223372036854775808 到 9223372036854775807 的数字。
似乎 NULL 或 None 可能 Not Acceptable ......我看到你曾尝试将其中一些设置为默认零，但不是全部。
