Skip to main content
 首页 » 编程设计

python之在弹性 beanstalk 部署期间应用的环境变量

2025年02月15日10zlslch

我的基本问题:如何设置将在 Elastic Beanstalk 部署过程中生效的环境变量?

我不是在谈论在部署期间设置我的应用程序在部署后可以访问的环境变量,我想设置将修改 Elastic Beanstalk 构建脚本的特定行为的环境变量。

需要说明的是 - 我通常认为这是个坏主意,但在这种情况下可能没问题,所以我将其作为实验进行尝试。以下是关于我为什么要研究这个以及为什么我认为它可能没问题的一些背景:

我正在将一台服务器从美国的 AWS 转移到中国的 AWS,我发现服务器部署失败的概率在 50% 到 100% 之间,具体取决于日期。这是开发过程中的一个主要难题,但我主要关心的是如何在生产中实现这一 pip 。

这是一个运行 Python 2.7 的 Amazon Linux 服务器,日志表明失败主要是读取超时错误,偶尔会抛出一些连接重置,都是由 pip install 尝试从 pypi 下载包时。为了验证这一 pip ,我已通过 ssh 进入我的实例以手动安装一些软件包,并且在小样本量中看到类似的失败率。请注意,这在尝试访问中国 GFW 另一端的内容时很常见。

因此,我编写了一个脚本,pip 下载将包下载到我的本地机器,然后aws sync将它们发送到与我的位于同一区域的 S3 存储桶服务器。这将消除部署时跨越 GFW 的需要。

我最初的计划是添加一个 .ebextension,aws cp 将包从 S3 发送到 pip 缓存,但是(除非我遗漏了什么)这有 pip 令人惊讶,似乎并不直接.

因此,作为计划 B,我将包重定向到实例上的本地目录中。这运行良好,但我无法让 pip install 从本地目录中提取包,而不是从 pypi 下载包。

根据 pip 文档,我预计将 PIP_FIND_LINKS 环境变量指向我的包目录会让 pip “自然地”从我的目录中拉取包,而不是 pypi。这将使更改对 EB 构建脚本透明,以及为什么我认为这可能是一个合理的解决方案。

到目前为止我已经尝试过:

1) 导出 PIP_FIND_LINKS=/path/to/package 的命令,但没有成功。我假设这是由于部署步骤是从不同的 session 调用的,所以我尝试了:

2) 一个命令,它(除了之前的导出之外)将 export PIP_FIND_LINKS=/path/to/package 附加到 ~./profile,试图将其应用于任何新 session 。

我已经尝试通过 ec2_user 和 root 发出命令,但都不起作用。

我希望对 EB、pip 等的细微差别有更多经验的人能够提供一些指导,而不是继续坚持这一 pip 。

请您参考如下方法:

经过一番思考,我决定 pip config file应该是比环境变量更可靠的解决方案。

事实证明,使用 .ebextensions 很容易实现这一 pip 。我首先创建下载脚本,然后直接在 virtualenv 文件夹中创建配置文件:

files: 
 
  /home/ec2-user/download_packages.sh: 
    mode: "000500" 
    owner: root 
    group: root 
    content: | 
      #!/usr/bin/env bash 
 
      package_dir=/path/to/packages 
 
      mkdir -p $package_dir 
      aws s3 sync s3://bucket/packages $package_dir 
 
  /opt/python/run/venv/pip.conf: 
    mode: "000755" 
    owner: root 
    group: root 
    content: | 
      [install] 
      find-links = file:///path/to/packages 
      no-index=false 

最后,命令用于调用我们刚刚创建的脚本:

commands: 
 
  03_download_packages: 
    command: bash /home/ec2-user/download_packages.sh 

一个潜在的问题是 pip 会绕过本地包目录并下载存储在我们私有(private) git repo 中的包,因此仍然存在超时错误的可能性,但这只是需要安装的包的一小部分所以它应该是可行的。

仍然不确定这是否是一个长期的解决方案,但它非常简单(经过一天的测试...)故障率已从 50% ~ 100% 下降到 0%。