Skip to main content
 首页 » 编程设计

python之在快速变化的目录中更新文件路径列表

2024年11月01日9lori

我有一个目录,我会不时访问它来检查它的内容,所以我创建了这段代码来检索该目录及其子目录中所有文件的列表路径:

our_dir='c:\\mydocs' 
walk=os.walk(our_dir) 
 
for path, folders, files in walk: 
    for f in files: 
        file_path=os.path.join(path,f) 
        print file_path 

该目录有 200K+ 文件,文件更改和添加频繁,因此在代码运行完成时,将添加/更改更多文件。问题是如何执行以下操作:

  1. 对代码进行初始运行,列出所有文件路径 在初始运行之前创建/更改的目录中 开始时间
  2. 以某种方式存储期间添加/更改的文件 初始运行(在初始运行开始时间和初始运行结束时间之间)
  3. 在每次后续运行中,只列出路径 在当前运行之前和初始运行结束时间之后以及当前运行期间(当前运行开始时间和当前运行结束时间之间)创建

知道如何做到这一点吗?我只是想说明一下,我不是在“监视/监视”该目录,而是时常访问它。

请您参考如下方法:

这是一个非常基本的结构想法:每个文件夹都有自己的线程。您将有 2 个类,一个用于收集数据“directoryHelper”,另一个用于存储数据“Directory”。

需要两个类,因为线程只能启动一次,并且您需要能够为已经列出的目录生成新线程而不丢失其数据。

根目录将是一个目录实例,列出它的给定路径('C:\mydocs')。它将文件列表存储在 self.files 中,并为它包含的每个目录创建一个新的 Directory 实例(不要忘记将它们放在 self.dirs 中以便能够访问它们。

可以定时刷新,并按照您的建议检查目录的修改日期。

这里有一些代码可以帮助你理解我的想法:

class Helper(threading.Thread): 
  def __init__(self, directory): 
    super(Helper, self).__init__() 
    self.directory = directory 
    self.start() 
 
  def run(self): 
    for path, folders, files in os.walk(self.directory.path): 
      for f in files: 
          self.directory.files.append(os.path.join(path, f)) 
 
      for d in folders: 
          self.directory.dirs.append(Directory(os.path.join(path, d), self.directory.interval, self.directory.do)) 
 
    self = None 
 
class Directory(threading.Thread): 
  def __init__(self, path, interval=5, do=None): 
    super(Directory, self).__init__() 
    self.path = path 
    self.files, self.dirs = ([], []) 
    self.interval = interval 
    self.last_update = 0 
    self.helper = None 
 
    self.do = do # One flag to stop refreshing all instances 
    if do == None: 
      self.do = True 
 
  def run(self): 
    while self.do: 
      self.refresh() 
      time.sleep(self.interval) 
 
  def refresh(self): 
    # Only start a refresh if there self.helper is done and directory was changed 
    if not self.helper and self.has_changed(): 
      self.last_update = int(time.time()) 
      self.helper = Helper(self) 
 
  def has_changed(self): 
    return int(os.path.getmtime(self.path)) > self.last_update 

我认为这应该足以让您入门!

编辑:我稍微更改了代码以实际处于工作状态。或者至少我希望它是(我还没有测试过)!

编辑 2:我实际上花时间测试并修复了它。我跑了:

if __name__ == '__main__': 
  root = Directory('/home/plg') 
  root.refresh() 
  root.helper.join() 
 
  for d in [root] + root.dirs: 
    for f in d.files: 
      print f 

和:

$ time python bin/dirmon.py | wc -l # wc -l == len(sys.stdout.readlines()) 
7805 
 
real  0m0.078s 
user  0m0.048s 
sys 0m0.028s 

即每秒 7805/0.078 = 100,064 个文件。还不错! :)

编辑 3(最后一个!): 我在“/”上运行了测试,第一次运行(没有缓存): 147551/4.103 = 35,961 个文件/秒

第二个和第三个:

$ time python bin/dirmon.py | wc -l 
147159 
 
real  0m1.213s 
user  0m0.940s 
sys 0m0.272s 
$ time python bin/dirmon.py | wc -l 
147159 
 
real  0m1.209s 
user  0m0.928s 
sys 0m0.284s 

147551/1.213 = 121,641 个文件/秒

147551/1.209 = 122,044 个文件/秒