Skip to main content
 首页 » 编程设计

python之无法将大型 .text 文件拆分为深度文本校正器的训练、测试和验证部分

2024年11月24日10jirigala

我有一个大的 .txt 文件,我想将它分成训练集、测试集和验证集。下面是我想使用这些苍蝇的代码行。我对如何去做没有任何直觉。

python correct_text.py --train_path  
                        /movie_dialog_train.txt \ 
                       --val_path /movie_dialog_val.txt \ 
                       --config DefaultMovieDialogConfig \ 
                       --data_reader_type MovieDialogReader \ 
                       --model_path /movie_dialog_model 

请您参考如下方法:

您可以使用 pd.from_csv() 方法将大文件加载到 Pandas DataFrame(例如,df) 在此之后,您可以将数据帧拆分为 Train(df_train) 和 Test(df_val)

现在,您可以使用 pd.to_csv() 两次并将文件名作为函数参数传递,以生成 movie_dialog_train.txt 和 的文本文件movie_dialog_val.txt

您可以为此创建一个小的 Python 脚本并运行它,这样您的训练和验证文件就可以在您实际运行代码之前出现。