Skip to main content
 首页 » 编程设计

python之使用 TaskQueue 获取大量数据

2025年05月04日7langtianya

我想从一个 URL 中获取一个大文件,但它总是引发一个DeadLineExceededError,虽然我已经尝试过 TaskQueue 并将deadline=600 放入fetch . 问题来自获取,所以 Backends 在这里无能为力:即使我启动了带有 TaskQueue 的后端,我也有 24h to return ,但是提取仍然有 10 分钟的限制,是吗?

有没有办法从文件的特定偏移量获取到另一个偏移量?那么我可以拆分提取,然后将所有部分放在一起吗?

有什么想法吗?

实际上要获取的文件并不是很大:在 15 到 30 MB 之间,但是服务器可能非常慢并且不断地被触发......

请您参考如下方法:

如果服务器支持,你可以提供HTTP Range header指定要获取的文件的子集。如果内容是静态提供的,服务器可能会尊重范围请求;如果它是动态的,则取决于生成响应的代码的作者是否允许他们。