我有一个多次调用 python 脚本的 SSIS 循环包。
意图:
有一个 csv 文件的文件夹。我需要将它们转换为竖线分隔的文本文件。一些文件中有坏行。 python 脚本将 csv 文件转换为管道文件,同时删除坏记录。
python代码:
import csv
import sys
if len(sys.argv) != 4:
print(sys.argv)
sys.exit("usage: python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>> <<number of columns>>")
source = sys.argv[1]
target = sys.argv[2]
colcount = sys.argv[3]
file_comma = open(source, "r", encoding="unicode_escape")
reader_comma = csv.reader(file_comma, delimiter=',')
file_pipe = open(target, 'w', encoding="utf-8")
writer_pipe = csv.writer(file_pipe, delimiter='|', lineterminator='\n')
for row in reader_comma:
if len(row) == int(colcount):
print("write this..")
writer_pipe.writerow(row)
file_pipe.close()
file_comma.close()
SSIS 包:
来自 SSIS 的 python 调用:
python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>> <<number of columns>>
问题。
循环工作正常,但当单个调用完成时,文件重写为 0 字节。分不清是SSIS问题还是python问题。
谢谢!
更新 1
这是代码的原始版本。同样的结果:
import csv
import sys
if len(sys.argv) != 4:
print(sys.argv)
sys.exit("usage: python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>> <<number of columns>>")
source = sys.argv[1]
target = sys.argv[2]
colcount = sys.argv[3]
with open(source, "r", encoding="unicode_escape") as file_comma:
reader_comma = csv.reader(file_comma, delimiter=',')
with open(target, 'w', encoding="utf-8") as file_pipe:
writer_pipe = csv.writer(file_pipe, delimiter='|', lineterminator='\n')
for row in reader_comma:
if len(row) == int(colcount):
print("write")
writer_pipe.writerow(row)
请您参考如下方法:
首先,我会切换到使用 with open()... 而不是单独的 open() 和 close() 函数。这将有助于确保文件在出现问题时自动关闭。
由于脚本被多次调用,我会在您的输出文件名中添加一个时间戳。这将有助于确保每次运行时都会生成不同的文件。
最后,您可以添加一个测试来确保同一时间只执行一个脚本副本。对于基于 Windows 的应用程序,这可以使用 Windows Mutex 来完成。在 Linux 上,可以使用文件锁。这种方法有时称为 singleton pattern .
import win32event
import win32api
from winerror import ERROR_ALREADY_EXISTS
from datetime import datetime
import csv
import sys
import os
import time
if len(sys.argv) != 4:
print(sys.argv)
sys.exit("usage: python csvtopipe.py <<SOURCE.csv>> <<TARGET.txt>> <<number of columns>>")
# Wait up to 30 seconds for another copy of the script to stop running
windows_mutex = win32event.CreateMutex(None, False, 'CSV2PIPE')
win32event.WaitForSingleObject(windows_mutex, 30000)
source = sys.argv[1]
target = sys.argv[2]
colcount = sys.argv[3]
# Add a filestamp
path, ext = os.path.splitext(target)
timestamp = datetime.now().strftime("%Y_%m_%d %H%M_%S")
target = f'{path}_{timestamp}{ext}'
with open(source, "r", encoding="unicode_escape") as file_comma, \
open(target, 'w', encoding="utf-8") as file_pipe:
reader_comma = csv.reader(file_comma, delimiter=',')
writer_pipe = csv.writer(file_pipe, delimiter='|', lineterminator='\n')
for row in reader_comma:
if len(row) == int(colcount):
print("write this..")
writer_pipe.writerow(row)
