Skip to main content
 首页 » 编程设计

python之如何基于机器学习模型并行化交易策略的回测

2025年02月15日13cloudgamer

为了回测交易策略,基于机器学习模型,我想并行计算模型的再训练过程。


  现在我的问题是:


有机会提高我的算法速度吗?

它是使用scikit-learn在python中实现的。回测的过程定义如下:


在900个(头三年)数据点上训练模型
预测第二天的t + 1
在下一个数据点t + 1上重新训练模型
再次用模型对第t + 2天进行预测
重新训练模型....
做出预测...


简单地,对下一个数据点进行预测,然后在该数据点上重新训练模型。然后执行此操作直到当前日期(最后一个数据点)。对于某些库存预测,这可能多达5000个数据点,这意味着通过使用在前900个数据点上训练的模型开始此回测过程,我需要对模型进行重新训练和预测4100次。

为了并行化过程,我正在使用多处理。我有机会使用提供40个CPU内核的服务器。所以我正在做的是:


将数据点4100分为40个部分
在每个运行该程序的内核上启动一个进程
完成该过程后,将结果写入磁盘
收集所有结果并将其放在一起


Python代码:

pool = Pool() 
results = [] 
 
for i in range(len(parts)): 
    try: 
        result = pool.apply_async(classify_parts,[parts[i], parts[i+1]]) 
        results.append(result) 
    except IndexError: 
        continue 
 
for result in results: 
    result.get() 


方法classify_parts,为给定范围启动该过程。
例如,如果我有500个数据点,并且将通过在100个数据点上训练模型来开始整个回测,那么我还有400个数据点(天)可供回测,这意味着:


将400个数据点分为40个部分[10,20,30,...,380,390,400]
在每个内核上启动一个进程:


classify_parts( 10, 20 ),..., classify_parts( 390, 400 )

从磁盘收集结果并将它们放在一起


希望我能以清晰的方式说明我的概念。


  因此,我最大的问题是,是否还有另一种更有效的机器学习模型回测方法,是否在每个下一个数据点(天)进行了重新训练?因为有了这个概念,一个针对5000个数据点的回测过程要运行10分钟以上。


也许增量/在线学习就在这里?

请您参考如下方法:

首先,这并没有使流程调度并行化。

如有疑问,可以在进一步阅读之前重温有关SERIAL,PARALLEL和“ just” -CONCURRENT过程调度的理论细节。

用简单的英语

事情可能会按原则(通过intent)或某种资源限制进入SERIAL操作模式。如果要在键盘上键入单词“ parallel”,则必须依次依次触摸字母p,下一个a,下一个r ...等,否则必须输入流程无法提供保证正确的结果-即屏幕上显示单词“ parallel”(为使本示例清晰起见,我们假设没有机会使用Shift键)。

任何人都可以测试,产生什么东西,如果一个人试图同时或成对地按下所有按键,或者当一只猫站在键盘上时……所有其他创意都欢迎您进行动手实验。

串行过程不能更快

在任何其他情况下,除了获得更快的处理资源和/或降低进程间的传输延迟之外(或者在存在新的,更智能的算法的情况下,这种算法对于程序员来说都是已知的,并且另外证明在该算法上实现是可行的)可用资源)。



真正的并行流程是什么?

另一方面,必须组织一些事情,使其恰好发生在光谱的另一端-如果所有事情都必须同时开始+发生+结束,否则该过程的结果被认为是错误的。可以举个例子吗?


想象一些视觉上简单的“可读”示例-红色箭头的显示-一组9架喷气飞机,其中显示了高引航员的图形和动作



或Frecce Tricolori



所有飞机都以给定的(相同)方式同时移动,否则可爱的表演将失败。
想象一场音乐会,必须举行。这正是最终的PARALLEL过程,如果没有的话,人们将立即意识到这将是多么的灾难性


想象一个具有多个自由度的机器人控制系统,其中所有运动都必须执行,并且必须在一个闭环的[actor -detector-actuator]子系统的同步控制下进行,并针对所有几个编程控制的轴。系统必须并行控制所有NC轴-否则机械臂将永远无法跟随黑线-the defined, curved, spatio-temporal trajectory in +4-D space ( best to view in real-time ).




机器人控制的例子表明,我们离特技飞行或交响乐的例子越远,对于这些例子,我们有一定的直接经验(或者可以凭自己的想象力提供一些理解),那么并行过程的调度似乎就很难理解或理解。意识到这一点,但是当质疑一个问题是否确实是真正的并行时,交响曲似乎是最需要提醒的。

只是问问自己,如果只有一半的合奏准时在19:00开始播放,将会发生什么,或者如果某些小提琴以加快的速度演奏会发生什么,或者会发生什么,如果玩家将只按顺序开始演奏一个音符,并让他/她的左邻居演奏他/她的音符,则等到演奏顺序回到同一位演奏者后,再演奏他/她的下一个音符。音乐会。正确,那将是纯串行调度。 )



那么,40个CPU内核是否可以以某种方式加速我的问题?

问题仍然取决于处理。



如果学习方法(在未公开的MCVE中)具有内在的依赖关系,例如,如果classify_parts( 20, 30 )需要获取一些输入或一条信息,这些信息是根据classify_parts( 10, 20 )中的“上一步”步骤生成的,则答案是否定的。

如果按照上述定义,学习方法是独立的,则有机会将流程安排为“公正”-一致,并从高速公路上有更多“自由”车道允许汽车驶入这一事实中受益在开始到结束的过程中,不仅要在一个车道上行驶,还应允许一个车道超越另一个较慢的车道。如果A城中只有2座或3座或4座以上的四人座赛车,橄榄球队可以从A座城市“更快地”转移到B座,而如果只有1座来回的话将所有玩家成功移至城市B。

接下来,即使有足够的车辆供所有玩家移动到城市B,如果从A到B的车道只有一条并且从B到A的方向相反的车流量很大,那么持续时间会非常高(不允许超车)和一台拖拉机,也从A到B,但速度为1 mph。

警告:(如果要搜索真正的“快速处理”,则表示“最快”)

即使没有上述“外部”障碍,也必须非常小心,不要失去“更大”机器+“更宽”高速公路(更多可用资源)带来的“公正”利益。同步的流程调度。

是的,这里的问题与编程工具有关。

Python可以为快速原型开发提供很多帮助,但要提防全局解释器锁(GIL)代码执行的含义。

在您的情况下,使用40个线程的Pool()看起来很吸引人,但仍然会等待GIL的获取/发布,并且由于忽略了已知的GIL,所有工作将再次变为SERIAL。 -cc在python线程的Pool()上。

是的,还有其他更有希望的替代方法,例如ThreadPool()等,但是不仅与代码相关的GIL步进破坏了您加快进程速度的努力,而且共享数据结构也是一个难题。注意并避免。此外,Pool()天真的复制环境可能会超出一个人的系统RAM容量,并且交换机制将产生这种尝试,从而完全无法使用来加速该过程。不共享任何东西,否则您加速处理的梦想将因共享机制而丢失,而您又回到了第一广场。

最好的方法是将代码设计为具有零共享,非阻塞(MEM,IO)操作的独立进程。

鉴于上述所有内容,40个CPU内核可能有助于加速“公正”并行进程。