我遇到这样的情况,在我的Python 3项目中,必须在运行时包含某些模块。我为此使用importlib.import_module。
第二次更新:我确实找到了一种方法来做一些接近我想要的事情。一些其他代码可能会使此处的某些链接略微有些偏离。我将发布答案以显示我的所作所为。
最新更新:通过各种Python小组,我被告知这是不可能的。我在底部有一个更新部分。
设置
想法是,当用户运行我的脚本时,将搜索所有名为“ agents _ *。py”的文件(其中*替换为某个单词)以查找类,然后将其导入。因此,例如,一个名为agents_human.py的文件将具有一个名为HumanAgent的类。就是要实例化的HumanAgent类,这就是为什么我需要导入模块(文件)以便发生这种情况的原因。
基本问题
问题有两个:
我似乎无法让该模块在多个目录中查找。
安装我的程序后,导入模块完全不起作用。
问题背景
我有一个代码库可以显示我要执行的操作:https://github.com/jeffnyman/pacumen
问题出在load_agent()方法中。特别是this statement。
为了显示这一点,如果克隆该仓库,则可以从项目根目录运行以下命令:
python3 -m pacumen
如果
agents_human.py文件位于项目的根目录中,则将起作用。
如果
agents_human.py文件是项目中的
agents目录,则它将不起作用。
在我的代码仓库中,
agents_human.py文件位于
agents目录中,因此导入失败。但是,如果将该文件移至根目录,则可以看到导入成功。但是,从
load_agent()函数可以看出,我已经将当前工作目录以及“ agents”目录添加到了路径(
lines 119 - 121)
当我说导入失败时,我的意思是:调用导入逻辑时,会触发 the
ImportError exception。同样,仅当
agents_human.py文件位于
agents目录中时。
有待解决的问题
理想情况下,我希望这对两种方法都起作用:文件位于根目录中和
agents目录中。
其他问题背景
我只是不得不将文件放在根目录中。但是,更糟糕的是,在安装程序时(而不是从项目根目录运行),即使是上面可用的部分也不再起作用。
具体来说,我从克隆项目的项目根目录执行以下操作:
pip3 install .
然后,我创建一些目录(例如
test_pacumen)。我在其中放入一个
agents_human.py文件,唯一的内容是:
class HumanAgent:
pass
(还需要我项目中的
layouts目录。)
然后我运行:
pacumen
在这种情况下,逻辑将永远不会导入
agents_human.py文件...即使它位于执行命令的根目录中。
我尝试过什么
通过查看各种示例,我的理解是我必须通过相对名称导入或提供显式锚。但这似乎是通过提供在其中搜索模块的路径进行的。我上面链接的代码似乎正在这样做。
我得到了在路径上找到的模块名称(通过 this line),并且在所有情况下,它的确找到了我放置的相关文件。因此,似乎该路径正在起作用;不是导入,而是导入。那是我找不到很多指导的地方。
我还尝试过以这种方式获取每个文件路径的路径的结尾部分:
module_end_dir = os.path.basename(os.path.normpath(module_dir))
然后,在适当的位置,我尝试了以下方法:
agent_module = importlib.import_module(f"{module_end_dir}.{module_name[:-3]}")
当
agents_human.py位于
agents目录中时,该方法在本地有效,但是如果
agents_human.py位于根目录中,则该方法无效。安装该程序后,它仍然根本不起作用。
问题总结
在第一个问题上下文(未安装的上下文)中,我不知道为什么无法从
agents_human.py导入
agents模块,但是可以从根目录导入它。
在第二个上下文(已安装)中,即使
agents_human.py模块似乎位于根目录中,也似乎无法导入。
我希望我在这里提供的内容不会太混乱。
更新:
我得到了为我的
load_agent函数尝试这样的想法:
def load_agent(pacman, not_human):
module = importlib.import_module("agents.agents_human")
return getattr(module, pacman)
当通过程序的项目根目录运行程序时,此方法有效,但通过pip安装项目时,则无效。显然,这与脚本的入口点以及如何无法使Python在该上下文中将目录识别为模块有关。
我想出了另一个例子:
def load_agent(pacman, not_human):
import re
pysearchre = re.compile('.py$', re.IGNORECASE)
agent_files = filter(pysearchre.search, os.listdir(os.path.join(os.getcwd(), 'agents')))
form_module = lambda fp: '.' + os.path.splitext(fp)[0]
agents = map(form_module, agent_files)
importlib.import_module('agents')
for agent in agents:
if not agent.startswith('__'):
agent_module = importlib.import_module(agent, package="agents")
if pacman in dir(agent_module):
return getattr(agent_module, pacman)
raise Exception("The agent " + pacman + " is not specified in any agents_*.py file.")
同样的情况。无需安装即可在程序运行时使用。安装程序时不这样做。
基本上,这是为了确认通过pip安装Python程序时无法执行的操作。我并不完全相信,但是我提供了此更新,以防其他人遇到此问题。
请您参考如下方法:
您正在执行的操作将不起作用,这是因为您在setup.py中的入口点,而且还因为安装程序时Python没有agents目录的概念。
您可以尝试将代理路径添加到sys.path中:
sys.path.insert(0, os.getcwd() + '/agents')
但是我怀疑当有人安装您的程序时这是否有用。 (而且,当您从发现的项目中运行程序时,您不需要这样做。)直接从项目本身运行时,通过pip进行安装基本上会使执行脚本与目录上下文分离。
您可能尝试做的另一件事就是通过文件位置导入。换句话说,不要将您的
agents目录(来自安装)视为实际模块。相反,只需将其视为是:目录位置。问题在于,这是Python设法在版本之间搞砸的另一个领域。
如果您使用的是3.5及更高版本,则可以执行以下操作:
import importlib.util
spec = importlib.util.spec_from_file_location("agents.agent_human", "/agents/agents_human.py")
foo = importlib.util.module_from_spec(spec)
spec.loader.exec_module(foo)
如果您使用的是Python 3.3或3.4,则可以执行以下操作:
from importlib.machinery import SourceFileLoader
foo = SourceFileLoader("agents.agent_human", "/agents/agents_human.py").load_module()
但是请注意,即使在Python 3.4中也已弃用该功能。
您可能想尝试一些变化。假设您想尝试查找该目录中所有文件中的类,则可能必须添加一些逻辑以检查
agents目录中的任何文件。
