Skip to main content
 首页 » 编程设计

python之csv 到 txt python 转换脚本留下 0 字节的文件

2024年11月24日7zengkefu

我有一个多次调用 python 脚本的 SSIS 循环包。

意图:

有一个 csv 文件的文件夹。我需要将它们转换为竖线分隔的文本文件。一些文件中有坏行。 python 脚本将 csv 文件转换为管道文件,同时删除坏记录。

python代码:

import csv 
import sys 
 
if len(sys.argv) != 4: 
    print(sys.argv) 
    sys.exit("usage: python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>>  <<number of columns>>") 
 
source = sys.argv[1] 
target = sys.argv[2] 
colcount = sys.argv[3] 
 
file_comma =  open(source, "r", encoding="unicode_escape") 
reader_comma = csv.reader(file_comma, delimiter=',') 
file_pipe = open(target, 'w', encoding="utf-8") 
writer_pipe = csv.writer(file_pipe, delimiter='|', lineterminator='\n') 
for row in reader_comma: 
    if len(row) == int(colcount): 
        print("write this..") 
        writer_pipe.writerow(row) 
file_pipe.close() 
file_comma.close() 

SSIS 包:

来自 SSIS 的 python 调用:

python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>>  <<number of columns>> 

问题。

循环工作正常,但当单个调用完成时,文件重写为 0 字节。分不清是SSIS问题还是python问题。

谢谢!

更新 1

这是代码的原始版本。同样的结果:

import csv 
import sys 
 
 
if len(sys.argv) != 4: 
    print(sys.argv) 
    sys.exit("usage: python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>>  <<number of columns>>") 
 
source = sys.argv[1] 
target = sys.argv[2] 
colcount = sys.argv[3] 
 
with open(source, "r", encoding="unicode_escape") as file_comma: 
    reader_comma = csv.reader(file_comma, delimiter=',') 
    with open(target, 'w', encoding="utf-8") as file_pipe: 
        writer_pipe = csv.writer(file_pipe, delimiter='|', lineterminator='\n') 
        for row in reader_comma: 
            if len(row) == int(colcount): 
                print("write") 
                writer_pipe.writerow(row) 

请您参考如下方法:

首先,我会切换到使用 with open()... 而不是单独的 open() 和 close() 函数。这将有助于确保文件在出现问题时自动关闭。

由于脚本被多次调用,我会在您的输出文件名中添加一个时间戳。这将有助于确保每次运行时都会生成不同的文件。

最后,您可以添加一个测试来确保同一时间只执行一个脚本副本。对于基于 Windows 的应用程序,这可以使用 Windows Mutex 来完成。在 Linux 上,可以使用文件锁。这种方法有时称为 singleton pattern .

import win32event 
import win32api 
from winerror import ERROR_ALREADY_EXISTS 
from datetime import datetime 
import csv 
import sys 
import os 
import time 
 
if len(sys.argv) != 4: 
    print(sys.argv) 
    sys.exit("usage: python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>>  <<number of columns>>") 
 
# Wait up to 30 seconds for another copy of the script to stop running 
windows_mutex = win32event.CreateMutex(None, False, 'CSV2PIPE') 
win32event.WaitForSingleObject(windows_mutex, 30000) 
 
source = sys.argv[1] 
target = sys.argv[2] 
colcount = sys.argv[3] 
 
# Add a filestamp 
path, ext = os.path.splitext(target) 
timestamp = datetime.now().strftime("%Y_%m_%d %H%M_%S") 
target = f'{path}_{timestamp}{ext}' 
 
with open(source, "r", encoding="unicode_escape") as file_comma, \ 
    open(target, 'w', encoding="utf-8") as file_pipe: 
 
    reader_comma = csv.reader(file_comma, delimiter=',') 
    writer_pipe = csv.writer(file_pipe, delimiter='|', lineterminator='\n') 
 
    for row in reader_comma: 
        if len(row) == int(colcount): 
            print("write this..") 
            writer_pipe.writerow(row)