Skip to main content
 首页 » 编程设计

python之有没有特定的方法可以在 pod 上安装 python 包

2024年11月24日14jpfss

一些背景:我已经在 Kubernetes(在 AWS 上)上设置了 Airflow。我能够运行 DAG 来查询数据库、发送电子邮件或做任何不需要不属于 Airflow 的包的事情。例如,如果我尝试运行一个使用 Facebook-business SDK 的 DAG,DAG 显然会中断,因为依赖项不可用。我已经尝试了几种不同的方法来尝试安装此依赖项以及其他依赖项,但没有成功。

我尝试通过修改我的调度程序和网络服务器部署来安装 python 包,以将我的依赖项作为 initContainer 的一部分进行 pip 安装。当我这样做时,DAG 仍然损坏,因为它无法找到所需的包。当我打开 pod 的 shell 时,我可以看到依赖项尚未安装(我使用 pip list 检查)。我还验证了没有安装其他 python/pip 版本。

我还尝试在打开 pod 的 shell 时通过运行 pip install 来安装依赖项。这种方式成功地将依赖项安装在正确的位置并使其可用。但是,网络服务器 UI 没有显示我的 DAG 已损坏,而是收到了 this dag isn't available in the webserver dagbag object 消息。

我希望作为我的 initContainer 或容器的一部分运行 pip install 将使这些依赖项在我的 pod 中可用。然而,事实并非如此。就好像 pip install 运行没有任何问题,但是当我的 pod 完全设置好时,python 包无处可寻

我忘了说我已经找到了让它工作的方法,但感觉有 pip 老套,应该有更好的方法 - 如果我打开一个 shell 到我的网络服务器容器并安装所需的依赖项,然后打开一个 shell 到我的调度程序并做同样的事情,就会找到依赖项并且 DAG 工作。

请您参考如下方法:

init 容器是一个单独的 docker 实例。除非你为你的 python 库安装某种共享存储(这是非常可疑的),否则在 init 容器中安装的任何 pip 都不会影响 pod 的运行容器。

我看到两个选项:

1) 修改您正在使用的 docker 镜像以包含您需要的包

2) 在 pod 中运行的命令前添加一个 pip install。将一些命令与它们之间的 && 串在一起的情况并不少见,以便在起始 pod 中执行一系列操作。