这个问题是关于如何管理对其他私有(private) gitlab 包具有嵌套依赖关系的私有(private) gitlab python 包的访问。这假设所有访问都是通过直接的 git 存储库模式而不是私有(private)包存储库。
package-a在私有(private) gitlab 存储库中,它取决于 package-b , 这取决于 package-c它们也在一个私有(private)的 gitlab 存储库中。
package-a有一个 pyproject.toml像这样:
[tool.poetry]
name = "package-a"
repository = "https://gitlab.com/org/package_a.git"
[tool.poetry.dependencies]
python = "^3.6"
package-b = {git = "ssh://git@gitlab.com/org/package_b.git", tag = "0.1.0"}
package-b有一个 pyproject.toml像这样:
[tool.poetry]
name = "package-b"
repository = "https://gitlab.com/org/package_b.git"
[tool.poetry.dependencies]
python = "^3.6"
package-c = {git = "ssh://git@gitlab.com/org/package_c.git", tag = "0.1.0"}
任何拥有 org 权限的用户gitlab 的成员(member)资格和 ssh key 可以使用 poetry安装 package-a它依赖于 package-b然后它依赖于 package-c ,全部进入开发笔记本电脑上的 python venv。 ssh协议(protocol)访问也适用于 docker 构建(具有用于 ssh 挂载的实验性功能)。
但是,具有私有(private)依赖项的相同项目不会安装在 gitlab-CI 运行器中,因为它们缺少 ssh 访问权限。 (有什么安全的方法可以启用它吗?)
假设 gitlab-CI 运行器必须使用访问 token 来克隆私有(private) gitlab 存储库,一个 sed脚本应用于 pyproject.toml project-a 的文件, 所以 gitlab-CI runner 可以克隆 package-b发现它依赖于package-c ; sed脚本将 project-b 的 ssh 更改为 https 访问通过编辑 project-a pyproject.toml 中的依赖规范,即
sed -i -e 's#ssh://git@gitlab.com/org#https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com/org#g' pyproject.toml
CI_JOB_TOKEN 是 gitlab-CI runner 提供的环境变量。它由 gitlab-CI runner 安全管理。所以,gitlab-CI runner 现在可以克隆 project-b存储库某处。如果可以将相同的 sed 技巧应用于此 project-b,它可能会起作用存储库 某处,但现在掌握在 poetry 手中它不能被触摸。所以project-b对 project-c 有 git+ssh 依赖gitlab-CI runner 安装失败 project-c因为它没有 git+ssh 凭据来克隆它。
因此,私有(private)包依赖链适用于在具有 git+ssh 访问权限的笔记本电脑上进行开发和 docker 构建,但在 gitlab-CI 上它都被破坏了。在所有这些构建环境中管理这种私有(private)包访问的更好做法是什么?
请您参考如下方法:
这些片段基于:
- https://docs.gitlab.com/ee/ci/ssh_keys/
- https://gitlab.com/gitlab-examples/ssh-private-key
- https://gitlab.com/gitlab-examples/ssh-private-key/issues/7
- https://gitlab.com/gitlab-examples/ssh-private-key/issues/1
ssh-keygen -o -t rsa -b 4096 -C "git@gitlab.com"
# output to something like ~/.ssh/gitlab_ci_rsa
# do not add any passphrase
# once created, copy the private key to the clipboard, e.g.
cat ~/.ssh/gitlab_ci_rsa | base64 -w0 > tmp.txt
xclip -sel clip < tmp.txt
公钥用作私有(private)部署 key , 这是从项目设置页面启用的,例如
- https://gitlab.com/org/project-a/settings/repository
- https://gitlab.com/org/project-b/settings/repository
- https://gitlab.com/org/project-c/settings/repository
私钥粘贴到gitlab-CI变量SSH_PRIVATE_KEY 并且 gitlab 应该能够屏蔽它(当它是 base64 编码时)。然后 .gitlab-ci.yml 文件可以使用以下方式将此私钥添加到 ssh-agent:
before_script:
- apt-get update -y -qq && apt-get install -y -qq git make openssh-client
- eval $(ssh-agent -s)
## Add the SSH key stored in SSH_PRIVATE_KEY variable to the agent store
- ssh-add <(echo "$SSH_PRIVATE_KEY" | base64 --decode)
## Create the SSH directory and give it the right permissions
- mkdir -p ~/.ssh
- chmod 700 ~/.ssh
- ssh-keyscan gitlab.com >> ~/.ssh/known_hosts
- chmod 644 ~/.ssh/known_hosts
gitlab 文档不使用 base64 编码,但必须将所有私钥复制到变量中,这样可以避免 ssh-add 提示输入密码。
