Skip to main content
 首页 » 编程设计

python之使用Python高效地将SPSS数据写入Excel

2025年04月02日8arxive

我正在尝试使用 Python 将打开的 SPSS 数据集中的数据写入 excel 文件。下面的程序运行良好,但对于一个包含 140 万个数据点(2500 个案例,700 个变量)的文件,它大约需要 35 秒。

现在,我循环遍历每个案例(作为一个元组),然后将元组的每个元素分配到一个单元格中。 openpyxl 是首选的 Excel 模块(因为我过去没有使用过任何其他模块)。

我打算将 Python 程序用于更大的数据集,所以我想知道是否有更有效的逻辑来执行此操作。

BEGIN PROGRAM. 
 
import spssdata 
import spss,spssaux, sys 
import openpyxl 
from openpyxl import Workbook 
import gc 
 
#initialise timer 
time_start = time.time() 
 
#Create the workbook to save the codebook  
wb=openpyxl.Workbook() 
ws1=wb.create_sheet() 
 
spss.StartDataStep() 
MyFile = spss.Dataset() 
varDict = spssaux.VariableDict() 
MyCases=MyFile.cases 
MyVars=MyFile.varlist 
 
for varnum, varname in enumerate(MyFile.varlist): 
        ws1.cell(row=1,column=varnum+1).value=varname.name 
        ws2.cell(row=1,column=varnum+1).value=varname.name 
 
for eachcase in range (len(MyCases)): 
    for eachvar in range (len(MyCases[eachcase])): 
        ValueToWrite=MyCases[eachcase][eachvar] 
        ws1.cell(row=eachcase+2,column=eachvar+1).value=ValueToWrite 
 
spss.EndDataStep() 
 
wb.save("some filename") 
del wb 
gc.collect() 
time_end = time.time() 
time_taken = int(time_end-time_start) 
print ("Saving took " + str(time_taken) + " seconds.") 
END PROGRAM. 

请您参考如下方法:

您可以尝试使用 win32com 方法。这通常很慢,但它确实具有能够在一次调用中完成大部分数据传输的优势。您只需要将数据准备到一个大小合适的列表中:

import win32com.client as win32 
 
data = [["A", "B"] for _ in range(10000)] 
 
excel = win32.gencache.EnsureDispatch('Excel.Application') 
excel.DisplayAlerts = False 
wb = excel.Workbooks.Add() 
ws = wb.Worksheets.Add() 
ws.Range(ws.Cells(1, 1), ws.Cells(len(data), 2)).Value = data 
wb.SaveAs(r'c:\python\test.xlsx') 
excel.Application.Quit() 

使用 range(1000000) 进行计时大约需要 7.5 秒。

据我所知,openpyxl 无法一次写入多个单元格。


根据您现有的代码,我会提出以下建议:

import win32com.client as win32 
import time 
import spss,spssaux, sys 
 
#initialise timer 
time_start = time.time() 
 
spss.StartDataStep() 
MyFile = spss.Dataset() 
MyCases = MyFile.cases 
spss.EndDataStep() 
 
excel = win32.gencache.EnsureDispatch('Excel.Application') 
excel.DisplayAlerts = False 
 
wb = excel.Workbooks.Add() 
ws1 = wb.Worksheets("Sheet1") 
ws2 = wb.Worksheets("Sheet2") 
 
# Add header to both sheets 
ws1.Range(ws1.Cells(1, 1), ws1.Cells(1, len(MyFile.varlist))).Value = MyFile.varlist 
ws2.Range(ws2.Cells(1, 1), ws2.Cells(1, len(MyFile.varlist))).Value = MyFile.varlist 
 
# Copy data 
ws1.Range(ws1.Cells(2, 1), ws1.Cells(1 + len(MyCases), len(MyCases[0]))).Value = MyCases 
 
wb.SaveAs(r'e:\python temp\test.xlsx') 
excel.Application.Quit()   
 
print("Saving took {:.1f} seconds.".format(time.time() - time_start))