只有在公开文件后将“anon”参数更改为 True,我才能加载数据。
df = dd.read_csv('s3://mybucket/some-big.csv', storage_options = {'anon':False})
由于显而易见的原因,不推荐这样做。如何安全地从 S3 加载数据?
请您参考如下方法:
从 s3 加载数据的后端是 s3fs,它有一个关于凭证的部分 here ,它主要指向 boto3 的文档。
简短的回答是,有许多方法可以提供 S3 凭证,其中一些是自动的(位于正确位置的文件,或环境变量 - 所有工作人员都必须可以访问,或集群元数据服务)。
或者,您可以直接在调用中提供您的 key / secret ,但这当然必须意味着您信任您的执行平台和工作人员之间的通信
df = dd.read_csv('s3://mybucket/some-big.csv', storage_options = {'key': mykey, 'secret': mysecret})
可以在 API docs 中找到使用 s3fs 时可以在 storage_options 中传递的参数集.
一般引用 http://docs.dask.org/en/latest/remote-data-services.html
