Skip to main content
 首页 » 编程设计

python之相同的代码在文件大小方面的工作方式不同

2025年05月04日9soundcode

我正在运行一个简单的代码来从输入文件的行中选择文本并将该文本写入输出文件。

with open('inputpath', 'r') as vh_datoteka, open('outputpath', 'w') as iz_datoteka: 
        for line in vh_datoteka: 
            NMEA = str(line) [24:-39] 
            iz_datoteka.write (NMEA + '\n') 

我需要处理的数据看起来像这样(两行):

2012-05-01 
23:59:59.007;!AIVDM,1,1,0,,33cm>k100013vglDPkW1QSin0000,0*6E;2470028;1;NULL;2012-05-01 
21:59:59.007 2012-05-01 
23:59:59.007;!AIVDM,1,1,0,,19NSBn001nQ8<7vDhIq43C<2280F,0*07;2470032;1;NULL;2012-05-01 
21:59:59.007 ... 

由于我有大文件要处理 (~2GB),我首先在其中一个大文件的一小部分上测试了代码(简单地复制了前 1000 行左右并将它们保存到测试文件中)。

代码运行完美,我得到了我想要的结果:

&#33;AIVDM,1,1,0,,33cm>k100013vglDPkW1QSin0000,0*6E; 
!AIVDM,1,1,0,,19NSBn001nQ8<7vDhIq43C<2280F,0*07; 

之后我尝试对整个数据使用代码并得到非常不同的输出:

2 3 : 5 9 : 5 9 . 0 0 7 ; ! A I V D M , 1 , 1 , 0 , , 3 3 c m > k 1 0 
0 0 1 3 v g l D P k W 1 Q S i n 0 0 0 0 , 0 * 6 E ; 2 4 7 0 0 2 8 ; 1 
; N U L L ; 2 0 1 2 -   3 : 5 9 : 5 9 . 0 0 7 ; ! A I V D M , 1 , 1 , 
0 , , 1 9 N S B n 0 0 1 n Q 8 < 7 v D h I q 4 3 C < 2 2 8 0 F , 0 * 0 
7 ; 2 4 7 0 0 3 2 ; 1 ; N U L L ; 2 0 1 2 - ... 

我一直在努力找出造成这种行为的原因,但已经无计可施,显然需要帮助。

请您参考如下方法:

感谢 Tobias 的评论。

显然大数据文件是 UTF16-LE,这就是问题所在。我更正了 python 代码以在 utf16 中读取并写入到 utf8,这就成功了。

with codecs.open('inputpath', 'r', encoding='utf-16-le') as vh_datoteka, open('outputpath', 'w') as iz_datoteka: 
        for line in vh_datoteka: 
            NMEA = str(line) [24:-39] 
            iz_line = NMEA + '\n' 
            iz_datoteka.write (iz_line.encode('utf-8'))