我正在尝试使用 Python 将打开的 SPSS 数据集中的数据写入 excel 文件。下面的程序运行良好,但对于一个包含 140 万个数据点(2500 个案例,700 个变量)的文件,它大约需要 35 秒。
现在,我循环遍历每个案例(作为一个元组),然后将元组的每个元素分配到一个单元格中。 openpyxl 是首选的 Excel 模块(因为我过去没有使用过任何其他模块)。
我打算将 Python 程序用于更大的数据集,所以我想知道是否有更有效的逻辑来执行此操作。
BEGIN PROGRAM.
import spssdata
import spss,spssaux, sys
import openpyxl
from openpyxl import Workbook
import gc
#initialise timer
time_start = time.time()
#Create the workbook to save the codebook
wb=openpyxl.Workbook()
ws1=wb.create_sheet()
spss.StartDataStep()
MyFile = spss.Dataset()
varDict = spssaux.VariableDict()
MyCases=MyFile.cases
MyVars=MyFile.varlist
for varnum, varname in enumerate(MyFile.varlist):
ws1.cell(row=1,column=varnum+1).value=varname.name
ws2.cell(row=1,column=varnum+1).value=varname.name
for eachcase in range (len(MyCases)):
for eachvar in range (len(MyCases[eachcase])):
ValueToWrite=MyCases[eachcase][eachvar]
ws1.cell(row=eachcase+2,column=eachvar+1).value=ValueToWrite
spss.EndDataStep()
wb.save("some filename")
del wb
gc.collect()
time_end = time.time()
time_taken = int(time_end-time_start)
print ("Saving took " + str(time_taken) + " seconds.")
END PROGRAM.
请您参考如下方法:
您可以尝试使用 win32com 方法。这通常很慢,但它确实具有能够在一次调用中完成大部分数据传输的优势。您只需要将数据准备到一个大小合适的列表中:
import win32com.client as win32
data = [["A", "B"] for _ in range(10000)]
excel = win32.gencache.EnsureDispatch('Excel.Application')
excel.DisplayAlerts = False
wb = excel.Workbooks.Add()
ws = wb.Worksheets.Add()
ws.Range(ws.Cells(1, 1), ws.Cells(len(data), 2)).Value = data
wb.SaveAs(r'c:\python\test.xlsx')
excel.Application.Quit()
使用 range(1000000) 进行计时大约需要 7.5 秒。
据我所知,openpyxl 无法一次写入多个单元格。
根据您现有的代码,我会提出以下建议:
import win32com.client as win32
import time
import spss,spssaux, sys
#initialise timer
time_start = time.time()
spss.StartDataStep()
MyFile = spss.Dataset()
MyCases = MyFile.cases
spss.EndDataStep()
excel = win32.gencache.EnsureDispatch('Excel.Application')
excel.DisplayAlerts = False
wb = excel.Workbooks.Add()
ws1 = wb.Worksheets("Sheet1")
ws2 = wb.Worksheets("Sheet2")
# Add header to both sheets
ws1.Range(ws1.Cells(1, 1), ws1.Cells(1, len(MyFile.varlist))).Value = MyFile.varlist
ws2.Range(ws2.Cells(1, 1), ws2.Cells(1, len(MyFile.varlist))).Value = MyFile.varlist
# Copy data
ws1.Range(ws1.Cells(2, 1), ws1.Cells(1 + len(MyCases), len(MyCases[0]))).Value = MyCases
wb.SaveAs(r'e:\python temp\test.xlsx')
excel.Application.Quit()
print("Saving took {:.1f} seconds.".format(time.time() - time_start))
