Skip to main content
 首页 » 编程设计

python之SQLAlchemy/Python : Using an engine per process, 并将该引擎注入(inject)依赖项

2025年05月04日13langtianya

SQLAlchemy 建议每个进程使用一个引擎,因为底层 DBAPI 连接不一定可以安全地跨进程使用。

我有全局 engine和 session分别用 SQLAlchemy 引擎和 session 工厂延迟填充的变量。这使得编写依赖于调用 get_session() 的数据库助手变得容易。在运行时使用 session由 init_db 赋值后的变量.

这很适合让需要访问 engine 的助手或 session在 engine 之前导入或 session被初始化。但是这种模式使我无法使用 engine和 session全局。

然而,我真正需要做的是:

engine, session = init_db(DB_URL) 

... 从调用应用程序/方法,然后将 session 注入(inject)这些数据库助手。为什么?好吧,我需要为每个进程使用一个引擎。我想我在这里需要一个控制反转模式,但是我很难想出一些可行的方法(这不涉及在每次调用时将 session 传递给助手,这是 hacky 和最后的手段)。

我以为我可以在 os.fork() 之后设置引擎.每个进程都以 engine=None 开头,然后实例化它。但是engine在父进程和子进程中具有相同的内存地址。这是有道理的;这就是 Python 的工作方式。

from utils import init_db, engine, DB_URL 
import os 
 
def connect(): 
    print('before fork, engine is: {}'.format(id(engine))) 
    newpid = os.fork() 
 
    if newpid == 0: 
        init_db(DB_URL) 
        print('child engine is: {}'.format(id(engine))) # id(engine) is equal to below call 
    else: 
        init_db(DB_URL) 
        print('parent engine is: {}'.format(id(engine))) # id(engine) is equal to above call 
 
if __name__ == '__main__': 
    connect() 

根据进程 ID 创建分类池是我的最佳选择吗?如果可能,我想使用干净的控制反转模式。

NullPool不合并连接并且可以使这项工作正常进行,但我认为这不是一件好事 - 不断打开和关闭连接似乎很昂贵?

Python 版本:3.4.0

SQLAlchemy 版本:0.9.7

请您参考如下方法:

id() 结果由于虚拟内存而具有欺骗性。您的 Python 对象在 fork() 之后彼此独立,并且不共享对其状态的修改。问题是预 fork 打开的文件、管道和套接字将被共享,这就是为什么如果您使用连接池则需要单独的引擎。

在不知道您的 init_db 具体做什么的情况下,如果引擎是在 fork 之后创建的,您应该没问题 - 每个进程都有自己的开放套接字。将您的 import 移到 fork 之后可能会更清晰,同时也清楚您的意图。