我正在使用 couchdbkit (python 2.7),我需要一次批量保存大约 100 个新项目。我想同时保存有效负载 (=attachment) 和元数据 (=doc)。
现在我正在非常低效地一个一个地保存这些项目,因为 couchdbkit 只允许在数据库中已经存在文档后使用 put_attachment()。这迫使我进行非常缓慢的实现。当我想保存 1 个项目时,我需要按固定顺序进行两次通信:首先是 save() 项目,然后是 put_attachment()。
我想要的是在本地创建所有文档及其 _attachments 并立即发送所有内容。以下代码不起作用,因为 bulk_save 不处理附件 [编辑:不正确,请参阅我的回答]
def setInBulk(self, key2value):
datetimeprop = DateTimeProperty()
def createItemToSave(thekey, thevalue):
pickled = cPickle.dumps(obj = value, protocol = 2).decode('latin1')
item = {"_id": key, "content": {"seeattachment": True, "ispickled" : True}, "creationtm": datetimeprop.to_json(datetime.datetime.utcnow()), "lastaccesstm": datetimeprop.to_json(datetime.datetime.utcnow())}
item ["_attachments"] = {
"theattachment":
{
"content_type":"application/octet-stream",
"data": pickled.encode('utf-8')
}
}
return item
docs = []
for key, value in key2value.iteritems():
docs.append(createItemToSave(key, value))
#this is what I want but it seems not to work
self.db.bulk_save(docs, all_or_nothing = True)
如何规避 couchdbkit 强加给我的一次写入一个的限制?
请您参考如下方法:
我成功了!事实证明 bulk_save 确实正确处理了 _attachments 字段。我做错的是数据编码。这是我的新代码:
def setInBulk(self, key2value):
datetimeprop = DateTimeProperty()
boolprop = BooleanProperty() #added
def createItemToSave(thekey, thevalue):
pickled = cPickle.dumps(obj = value, protocol = 2).decode('latin1')
#modified: usage of BooleanProperty for booleans
item = {"_id": key, "content": {"seeattachment": boolprop.to_json(True), "ispickled" : boolprop.to_json(True)}, "creationtm": datetimeprop.to_json(datetime.datetime.utcnow()), "lastaccesstm": datetimeprop.to_json(datetime.datetime.utcnow())} #modified
item ["_attachments"] = {
"theattachment":
{
"content_type":"application/octet-stream",
#modified: base64 encoding needed
"data": base64.encodestring(pickled.encode('utf-8'))
}
}
return item
docs = []
for key, value in key2value.iteritems():
docs.append(createItemToSave(key, value))
self.db.bulk_save(docs, all_or_nothing = True)
首先,我还添加了 BooleanProperty 的用法,以确保一切都与 JSON 兼容。
其次,我未能对数据进行 base64 编码。需要纯净且未过滤的 base64 代码。
不要尝试过滤 base64 代码。我对沙发数据库感到困惑 documentation上面写着“请注意,您发送的任何 base64 数据都必须在单行字符上,因此请预处理您的数据以删除任何回车符和换行符。” JSON-base64 specification建议类似的过滤。这本身可能是正确的,但是 bulk_save() 似乎已经解决了这个问题并且执行两次只会导致“不匹配”错误。
