背景:我正在构建一个股票交易策略回测器。我有 2446 个包含 OHLCV 数据的 CSV。每个 CSV 是一个交易日的数据。在性能成为问题后,我还将这些文件连接成一个大约 140 万行的 CSV 文件。稍后会详细介绍。
在开发的早期阶段,我使用 pd.read_csv 一次读取每个文件并将每个数据帧附加到列表中。然后我会在数据帧列表上运行模拟。使用这种技术,仅模拟本身 大约需要 97 秒。
all_days = []
for file in (os.listdir("C:/Users/XYZ/Desktop/EURUSD/CSV")):
all_days.append(pd.read_csv("C:/Users/XYZ/Desktop/EURUSD/CSV/"+file))
我希望整个程序运行得更快。所以我创建了一个 CSV,并使用 groupby 来分隔每一天的数据。果然,数据帧列表的创建要快得多。但这就是我被抛出一个循环的地方:模拟速度明显减慢。模拟现在需要大约 172 秒,即使它仍然像以前一样接收数据帧列表。还值得注意的是,模拟产生了完全相同的结果。
df = pd.read_csv("C:/Users/XYZ/Desktop/EURUSD/Concatenated CSVs/EURUSD.csv",
index_col=0,parse_dates=True)
df['Time'] = pd.to_datetime(df['Time'])
all_days = []
for each in df.groupby(pd.Grouper(key='Time',freq='D')):
if each[1].empty is False:
all_days.append(each[1])
哪些因素可能导致性能下降如此之快?
请您参考如下方法:
为什么您希望它更快?
您不必单独打开每个文件,从而节省了一些开销,但您最终还是要将完全相同数量的数据读入内存。
但在第二个示例中,您要求 pandas 通过扫描所有 140 万行数据来制作一个较小的数据框!
尝试计算您的第二个示例花费多长时间构建数据框,以及花费多长时间对其进行迭代。
