我有一个 excel 文件,我想它对于一个 excel 文件 (200Mb) 来说是相当大的,它有大约 20 张完整的信息。
我的问题是,如果执行以下简单操作需要将近 5 分钟是正常的。我想知道我是否以正确的方式进行操作。
import xlrd
def processExcel(excelFile):
excelData = xlrd.open_workbook(excelFile)
sheets = excelData.sheet_names()
print sheets
如您所见,第一步我只是尝试获取工作表名称,而这个简单的事情只需要 5 分钟...这可能吗?
请您参考如下方法:
是的,这绝对有可能。这确实是一个 Excel 文件中的大量数据。默认情况下,xlrd 将整个工作簿加载到内存中。如果您的工作簿是 .xls 文件,您可以使用 on_demand 参数仅在需要时打开工作表:
import xlrd
def processExcel(excelFile):
excelData = xlrd.open_workbook(excelFile, on_demand=True)
sheets = excelData.sheet_names()
print sheets
如果您尝试打开 .xlsx 文件,on_demand 参数无效。
更新
如果您使用的是 Python 3 并读取 .xlsx 文件,您可以尝试 sxl .这是一个只在需要时将内容读入内存的库。因此,只需打开工作簿来检索工作表名称就非常快。此外,如果您只需要工作表的前几行,它也可以相当快地获取这些行。
如果你需要用sxl读取所有的数据,你必须遍历所有的行,这可能比xlrd还要慢,但至少只会根据需要使用尽可能多的内存。例如,以下代码在任何给定时间只会在内存中保留一行:
from sxl import Workbook
wb = Workbook('MyBigFile.xlsx')
ws = wb.sheets[1]
for row in ws.rows:
print(row)
但是,如果您需要随机访问所有行来进行处理,则必须将它们全部保存在内存中:
from sxl import Workbook
wb = Workbook('MyBigFile.xlsx')
ws = wb.sheets[1]
all_rows = list(ws.rows)
在这种情况下,all_rows 将整个工作表保存在内存中。如果您的工作簿有多个工作表,这可能仍然比 xlrd 更有效。但是,如果您需要在内存中存储整个工作簿,那么您不妨坚持使用 xlrd。
