我有一个大的 .txt 文件,我想将它分成训练集、测试集和验证集。下面是我想使用这些苍蝇的代码行。我对如何去做没有任何直觉。
python correct_text.py --train_path
/movie_dialog_train.txt \
--val_path /movie_dialog_val.txt \
--config DefaultMovieDialogConfig \
--data_reader_type MovieDialogReader \
--model_path /movie_dialog_model
请您参考如下方法:
您可以使用 pd.from_csv() 方法将大文件加载到 Pandas DataFrame(例如,df) 在此之后,您可以将数据帧拆分为 Train(df_train) 和 Test(df_val)
现在,您可以使用 pd.to_csv() 两次并将文件名作为函数参数传递,以生成 movie_dialog_train.txt 和 的文本文件movie_dialog_val.txt
您可以为此创建一个小的 Python 脚本并运行它,这样您的训练和验证文件就可以在您实际运行代码之前出现。
