我在谷歌云平台上有我的数据,我希望能够在本地下载它,这是我第一次尝试,最终我将在我的 python 代码中使用下载的数据。
我已经检查了文档,比如 https://cloud.google.com/genomics/downloading-credentials-for-api-access和 https://cloud.google.com/storage/docs/cloud-console我已经成功地为我的第一个链接获得了 Json 文件,第二个是你正在努力的地方,我正在使用 python 3.5 并假设我的 json 文件名为 data.json 我添加了以下内容代码:
os.environ["file"] = "data.json"
urllib.request.urlopen('https://storage.googleapis.com/[bucket_name]/[filename]')
首先,我什至不知道我应该怎么称呼 environ 附近的值,所以我只是称它为文件,不确定我应该如何填充它,我在第二行被拒绝访问,显然它不是如何下载我的文件,因为没有目标本地存储库或该命令中的任何内容,我们将不胜感激。
编辑:
from google.cloud.storage import Blob
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "credentials/client_secret.json"
storage_client = storage.Client.from_service_account_json('service_account.json')
client = storage.Client(project='my-project')
bucket = client.get_bucket('my-bucket')
blob = Blob('path/to/my-object', bucket)
download_to_filename('local/path/to/my-file')
我得到了关于storage 和download_to_filename 的未解析引用,我应该用credentials/client_secret.json 替换。另外,我尝试打印 service_account.json os.environ["GOOGLE_APPLICATION_CREDENTIALS"]['installed'] 的内容,就像我对任何 Json 所做的那样,但它只是说我应该给出数字,这意味着它读取输入路径仅作为常规文本。
请您参考如下方法:
你应该使用 idiomatic Google Cloud library在 GCS 中运行操作。
有了这个例子,并且知道客户端库将获得应用程序默认凭证,首先我们必须使用
设置应用程序默认凭证gcloud auth application-default login
===编辑===
那是老办法。现在您应该使用 this link 中的说明.
这意味着从 console 下载服务帐户 key 文件,并将环境变量 GOOGLE_APPLICATION_CREDENTIALS 设置为下载的 JSON 的路径。
此外,请确保此服务帐户具有 proper permissions关于水桶的项目。
或者您可以使用显式凭据创建客户端。您仍然需要下载 key 文件,但是在创建客户端时,请使用:
storage_client = storage.Client.from_service_account_json('service_account.json')
==========
然后,按照示例代码:
from google.cloud import storage
client = storage.Client(project='project-id')
bucket = client.get_bucket('bucket-id')
blob = storage.Blob('bucket/file/path', bucket)
blob.download_to_filename('/path/to/local/save')
或者,如果这是一次性下载,只需安装 SDK并使用 gsutil 下载:
gsutil cp gs://bucket/file .
