Skip to main content
 首页 » 编程设计

python之使用本地数据在 EC2 上训练模型

2025年01月19日13langtianya

我正在使用亚马逊的 aws EC2 实例来训练我的图像分类器 (cnn)。我有一个包含大约 20 万张图像的数据集,并且 scp -ing 将其全部添加到实例似乎效率低下,尤其是随着数据集的增长。有没有办法在指向本地机器上的数据集目录的同时在 EC2 实例上训练模型。

例如,如果我在本地训练我的模型,我会使用类似这样的东西开始训练:

python retrain.py  \ 
    --image_dir /Users/vivek/Desktop/Data2Compress/\ 
   --learning_rate=0.001 \ 
    --testing_percentage=20 \ 
    --validation_percentage=20 \ 
    --train_batch_size=32 \ 
    --validation_batch_size=-1 \ 
    --flip_left_right True \ 
    --random_scale=30 \ 
    --random_brightness=30 \ 
    --eval_step_interval=100 \ 
    --how_many_training_steps= 100000 \ 
    --architecture mobilenet_1.0_224  

在 EC2 上运行训练时,有没有办法调整 image_dir 参数以指向本地存储的数据集?

请您参考如下方法:

即使有一种方法可以在指向本地目录的同时训练模型,您仍然会遇到最终必须传输数据的情况。您是否考虑过将数据集上传到 S3 存储桶,然后从该存储桶复制到您的 EC2 实例?

那时您仍然需要初始上传,但您不必在每次为新的培训类(class)启动新的 EC2 实例时都重新上传,并且从存储桶复制到您的实例会比复制快得多从您的本地机器到实例。