Skip to main content
 首页 » 编程设计

python之按大小限制拆分大文件而不切割线

2024年10月24日13虾米姐

<分区>

所以我有兴趣将相当大的文件分成 5Gig 间隔。我的目标是让所有分区都小于 5G,并且分区数量尽可能少。

虽然我通常会使用有大小限制的分割,但我需要确保线条保持完整(我不能按大小分割)。

我一直在考虑使用文件大小和行数来确定每个文件可以拆分的行数

例如

File size = 11Gig 
File line count = 900 
File limit = 5Gig 
ceiling(11/5) = 3 
900/3 = 300 
#Split the file by line limiting 300 each. 

虽然这可能通常有效,但由于行元素的性质,如果文件的一段中有一个非常大的行,文件大小仍可能超过 5gigs。

我正在考虑使用 python(它处理数字的能力要好得多,而且看起来不那么骇人听闻),但我会降低 bashes 文件操作速度。

我想知道是否有人知道 bash 中更好的替代方案?

提前致谢!