Skip to main content
 首页 » 编程设计

python之使用 SQLAlchemy 将数据插入 Oracle DB 时出现间歇性 "ORA-01458: invalid length inside variable character string"错误

2025年04月02日10insus

我正在开发一个 Python 3.5 服务器项目,并使用 SQLAlchemy 1.0.12 和 cx_Oracle 5.2.1 将数据插入 Oracle 11g。我注意到我的许多多行表插入都间歇性地失败,并出现“ORA-01458:可变字符串中的无效长度”错误。

我一般一次插入几千到几万行,数据主要由字符串、Pandas时间戳、 float 组成。我做了以下观察:

  1. 错误发生在Python服务器的Windows和Linux主机操作系统上
  2. 错误总是间歇性发生,即使数据没有改变也是如此
  3. 如果我不插入 float ,或者如果我舍入它们,错误发生的频率会降低,但仍然会发生
  4. 如果我一次插入一行,我不会遇到错误(但这对我的性能而言是 Not Acceptable )

此外,如果遇到错误,我尝试再次插入。我尝试的第一件事是在我对 sqlalchemy.engine.base.Connection 对象调用执行的地方放置一个 try-except block ,如下所示:

try: 
    connection.execute(my_table.insert(), records) 
except DatabaseError as e: 
    connection.execute(my_table.insert(), records) 

我注意到使用这种方法第二次插入仍然经常失败。我尝试的第二件事是在 sqlalchemy 包 (sqlalchemy\dialects\oracle\cx_oracle.py) 中 OracleDialect_cx_oracle 的 do_executemany 的实现中尝试相同的操作:

def do_executemany(self, cursor, statement, parameters, context=None): 
    if isinstance(parameters, tuple): 
        parameters = list(parameters) 
 
    # original code 
    # cursor.executemany(statement, parameters) 
 
    # new code 
    try: 
        cursor.executemany(statement, parameters) 
    except Exception as e: 
        print('trying again') 
        cursor.executemany(statement, parameters) 

奇怪的是,当我这样做时,如果第一个失败,第二个 executemany 调用将始终有效。我不确定这意味着什么,但我相信这表明 cx_Oracle 驱动程序是问题的原因,而不是 sqlalchemy。

我在网上到处搜索,没有看到任何关于相同问题的报告。任何帮助将不胜感激!

请您参考如下方法:

我遇到了同样的问题,代码有时会失败,有时却没有错误。显然我的 block 大小对于缓冲区来说太大了,一旦我将 block 大小从 10K 减少到 500 行,错误就不再发生。