Skip to main content
 首页 » 编程设计

python之如何预测 python 运行脚本需要多长时间

2024年11月01日9zhoujg

所以我想确保在最佳时间运行我的程序,例如,如果需要 5 个小时才能完成,我应该通宵运行它!

我知道这个程序会结束,理论上我应该能够根据大小来计算长度。所以这是实际问题:

我需要打开 16 个 pickled 文件,它们是 pandas DataFrames,加起来总共有 1.5 gig。请注意,我还需要对总计 20 个演出的 DataFrame 执行此操作,因此我需要的答案是告诉以下代码在给定演出总数的情况下需要多长时间:

import pickle 
import os 
def pickleSave(data, pickleFile): 
    output = open(pickleFile, 'wb') 
    pickle.dump(data, output) 
    output.close() 
    print "file has been saved to %s" % (pickleFile) 
def pickleLoad(pickleFile): 
    pkl_file = open(pickleFile, 'rb') 
    data = pickle.load(pkl_file) 
    pkl_file.close() 
    return data 
directory = '/Users/ryansaxe/Desktop/kaggle_parkinsons/GPS/' 
files = os.listdir(directory) 
dfs = [pickleLoad(directory + i) for i in files] 
new_file = directory + 'new_file_dataframe' 
pickleSave(dfs,new_file) 

所以现在我需要编写一个如下所示的函数:

def time_fun(data_size_in_gigs): 
    #some algorithm here 
    print "your code will take ___ hours to run" 

我不知道如何处理这个问题,或者是否可能。有什么想法吗?

请您参考如下方法:

此执行时间完全取决于您的系统,即硬盘驱动器/固态硬盘、处理器等。没有人可以预先告诉您在您的计算机上运行需要多长时间,这是您能够做到的唯一方法得到一个精确的估计将是在样本文件上运行你的脚本,这些文件加起来只有 100mb,记下它花费了多长时间,并以此为基础进行估计。

def time_fun(data_size_in_gigs): 
    benchmark = time_you_manually_tested_for_100mb 
    time_to_run = data_size_in_gigs/0.1 * benchmark 
    print "your code will take time_to_run hours to run" 

编辑:事实上,您可能希望将这个基准(大小、时间)对保存在一个文件中,您也可以在实际运行脚本时自动向该文件添加新条目。例如,在您的函数中,您可能想要检索最接近您当前估计的 data_size 的 2 个基准,并估计它们,只需取平均值并使其与 data_size 你需要。每对相邻的基准将定义一个不同的线性斜率,这对附近的数据最准确。

     |                  . 
     |                 . 
time |               . 
     |            . 
     |       . 
     |_._________________ 
              size 

例如,只需避免保存 2 个相差小于 200mb 的基准,因为实际时间可能会有所不同,并且可能会破坏您对(999mb,100 分钟)后跟(1gb,95 分钟)等条目的估计。

由最后 2 个点定义的线的投影将是您对新的历史最高数据大小的最接近估计。