我正在开发一个 Python 3.5 服务器项目,并使用 SQLAlchemy 1.0.12 和 cx_Oracle 5.2.1 将数据插入 Oracle 11g。我注意到我的许多多行表插入都间歇性地失败,并出现“ORA-01458:可变字符串中的无效长度”错误。
我一般一次插入几千到几万行,数据主要由字符串、Pandas时间戳、 float 组成。我做了以下观察:
- 错误发生在Python服务器的Windows和Linux主机操作系统上
- 错误总是间歇性发生,即使数据没有改变也是如此
- 如果我不插入 float ,或者如果我舍入它们,错误发生的频率会降低,但仍然会发生
- 如果我一次插入一行,我不会遇到错误(但这对我的性能而言是 Not Acceptable )
此外,如果遇到错误,我尝试再次插入。我尝试的第一件事是在我对 sqlalchemy.engine.base.Connection 对象调用执行的地方放置一个 try-except block ,如下所示:
try:
connection.execute(my_table.insert(), records)
except DatabaseError as e:
connection.execute(my_table.insert(), records)
我注意到使用这种方法第二次插入仍然经常失败。我尝试的第二件事是在 sqlalchemy 包 (sqlalchemy\dialects\oracle\cx_oracle.py) 中 OracleDialect_cx_oracle 的 do_executemany 的实现中尝试相同的操作:
def do_executemany(self, cursor, statement, parameters, context=None):
if isinstance(parameters, tuple):
parameters = list(parameters)
# original code
# cursor.executemany(statement, parameters)
# new code
try:
cursor.executemany(statement, parameters)
except Exception as e:
print('trying again')
cursor.executemany(statement, parameters)
奇怪的是,当我这样做时,如果第一个失败,第二个 executemany 调用将始终有效。我不确定这意味着什么,但我相信这表明 cx_Oracle 驱动程序是问题的原因,而不是 sqlalchemy。
我在网上到处搜索,没有看到任何关于相同问题的报告。任何帮助将不胜感激!
请您参考如下方法:
我遇到了同样的问题,代码有时会失败,有时却没有错误。显然我的 block 大小对于缓冲区来说太大了,一旦我将 block 大小从 10K 减少到 500 行,错误就不再发生。
