Skip to main content
 首页 » 编程设计

Python:如何最好地处理开发库和同时使用它的应用程序

2024年12月31日9落叶无声

当前项目目录结构示例:

myproject/ 
  | 
  +-- mylibrary/ 
  |     | 
  |     +-- __init__.py 
  |     | 
  |     +-- (code files) 
  | 
  +-- webapi/ 
  |     | 
  |     +-- __init__.py       <-- contains Flask API code and blueprints, using the mylibrary code 
  |     | 
  |     +-- object/ 
  |           | 
  |           +-- __init__.py <-- Flask API code for "object"s, imported via blueprints 
  | 
  +-- cli/ 
  |     | 
  |     +-- __init__.py       <-- argparse, code to use the mylibrary code from the CLI, etc. 
  | 
  +-- gui_app/ 
        | 
        +-- __init__.py       <-- the start of a GUI application, using the mylibrary code 

我是唯一的开发人员,并且正在并行开发应用程序的上述所有部分。

我的问题:

  • 如何最好地处理在三个项目(webapi、cli 和 gui_app)中编写 import 语句从mylibrary 模块导入代码?我看到三个选项:
    • 使用 PYTHONPATH 或 sys.path 将 .. 添加到使用该库的每个应用程序的路径中。这适用于 __init__.py 文件,但我不确定如何在不添加 的情况下从 webapi/object/__init__.py 做到这一点../.. 到 sys.path。此外,这使得应用程序以后更难分发。
    • 重构应用程序,使库的每个“用户”都是库的子模块;然后我可以执行 from .. import mylibrary。这是一个坏主意,因为它基本上使整个 mylibrary 模块成为“整体”。
    • 每次我有机会访问 mylibrary 时,将其安装到我的 site-packages 中。然后只需使用 import mylibrary 开发其他三个应用程序。然而,这非常痛苦,因为我正在并行开发应用程序的所有四个部分。
  • 我会计划自己分发 mylibrary,这样它就可以由例如点子。然后,可以单独安装 webapi 或 gui_app。 (也许 cli 可以合并到 mylibrary 中,这样如果它作为一个模块运行,它将显示 CLI,但仍然不能解决其他两个应用程序的问题)

这是我第一次编写代码库,同时编写多个将使用该库的应用程序。什么是最“Pythonic”的,或者更准确地说,最安全和最不容易出错的实现方法?

请您参考如下方法:

我认为你把事情复杂化了。

您的最终目标是库和应用程序都单独分发,由 pip 安装。要实现这一点,它们只需要是具有自己单独的 setup.py 的独立包,并且应用程序在其“requirements.txt”中包含该库。

而且,一旦您这样做,它也可以解决您的开发问题。创建一个虚拟环境,然后在开发应用程序时将库pip install 到该环境中。

无需手动符号链接(symbolic link)或在任何地方复制任何内容。或者以这样的方式编写测试,使它们可以同时使用已安装的库和相对路径的库。或其他任何东西。不要弄乱 sys.path;该库位于 venv 的站点包中,它已经在 sys.path 中。让所有这些正常工作是虚拟环境的全部意义所在。

自述文件中甚至不需要任何复杂内容。只需使用 pip(无论是在系统范围内还是在 venv 中)安装应用程序的人都会自动获取该库。在应用程序中工作的人可以像对待任何其他依赖项一样对待图书馆。 (他们应该已经知道如何创建一个 venv 并将 requirements.txt 安装到其中。)唯一真正的问题是在图书馆工作的人对应用程序不感兴趣,但将其用作图书馆的测试代码——但是您可以通过在库本身中包含足够的测试代码(您可能无论如何都想这样做)来使它变得不必要。

如果这对你不起作用,你可以看看从独立的库包中构建一个版本化的子包,requests 对 urllib3 的处理方式或者 bs4 使用 unicodedamnit。但是从您的描述中,我没有看到任何迹象表明您需要它。


我认为您的问题可能是您认为 pip 只能从 PyPI 或其他 pip 存储库安装分布式包。事实上,它比这要灵活得多。作为the User Guide说:

pip supports installing from PyPI, version control, local projects, and directly from distribution files.

如果您查看 pip install 的引用, 它可以采用以下任何一种形式:

pip [options] <requirement specifier> [package-index-options] ... 
pip [options] -r <requirements file> [package-index-options] ... 
pip [options] [-e] <vcs project url> ... 
pip [options] [-e] <local project path> ... 
pip [options] <archive url/path> ... 

如果你想知道它是如何工作的,稍微简化一下,所有的变化(除非你正在处理预制的轮子,这在这里不相关)归结为(只是稍微过于简单)下载源代码/ checkout /解压/等。某处并执行 pip install .,cd 进入某处,然后在那里执行 pip install .。

所以,如果你想安装你的库的当前工作树,你可以这样做:

pip install /path/to/lib 

或者,更常见的是,您已经在 /path/to/lib 中,所以:

pip install . 

您可能希望为开发模式安装加入 -e 标志,或覆盖版本检查(或只是 --force-reinstall),或指定带有 #egg 的假(单调递增)版本号,或忽略要求或约束,或其他任何,但所有这些选项都适用于从本地路径(或 git repo or branch or changelist)就像从 PyPI 安装一样。

即使对于非常复杂的东西,pip 也可以很好地处理。想要切换回 master 上的内容来比较您当前的更改对事物的影响吗? pip install git+file:/path/to/lib@master。想给某个人一个自定义分支,以便他可以针对它进行测试吗?推送分支,他可以执行 pip install git+https://github.com/fdmillion/liblibrary@someguytest。您可能永远不需要这些东西,但几乎所有您能想到的东西,pip 都已经有了。