Skip to main content
 首页 » 编程设计

python之如何使用 python 从 google-cloud-platform 下载我的数据

2025年01月19日9mq0036

我在谷歌云平台上有我的数据,我希望能够在本地下载它,这是我第一次尝试,最终我将在我的 python 代码中使用下载的数据。

我已经检查了文档,比如 https://cloud.google.com/genomics/downloading-credentials-for-api-access和 https://cloud.google.com/storage/docs/cloud-console我已经成功地为我的第一个链接获得了 Json 文件,第二个是你正在努力的地方,我正在使用 python 3.5 并假设我的 json 文件名为 data.json 我添加了以下内容代码:

os.environ["file"] = "data.json" 
urllib.request.urlopen('https://storage.googleapis.com/[bucket_name]/[filename]') 

首先,我什至不知道我应该怎么称呼 environ 附近的值,所以我只是称它为文件,不确定我应该如何填充它,我在第二行被拒绝访问,显然它不是如何下载我的文件,因为没有目标本地存储库或该命令中的任何内容,我们将不胜感激。

编辑:

   from google.cloud.storage import Blob 
 
    os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "credentials/client_secret.json" 
    storage_client = storage.Client.from_service_account_json('service_account.json') 
    client = storage.Client(project='my-project') 
    bucket = client.get_bucket('my-bucket') 
    blob = Blob('path/to/my-object', bucket) 
    download_to_filename('local/path/to/my-file') 

我得到了关于storage 和download_to_filename 的未解析引用,我应该用credentials/client_secret.json 替换service_account.json 。另外,我尝试打印 os.environ["GOOGLE_APPLICATION_CREDENTIALS"]['installed'] 的内容,就像我对任何 Json 所做的那样,但它只是说我应该给出数字,这意味着它读取输入路径仅作为常规文本。

请您参考如下方法:

你应该使用 idiomatic Google Cloud library在 GCS 中运行操作。

有了这个例子,并且知道客户端库将获得应用程序默认凭证,首先我们必须使用

设置应用程序默认凭证
gcloud auth application-default login  

===编辑===

那是老办法。现在您应该使用 this link 中的说明.

这意味着从 console 下载服务帐户 key 文件,并将环境变量 GOOGLE_APPLICATION_CREDENTIALS 设置为下载的 JSON 的路径。

此外,请确保此服务帐户具有 proper permissions关于水桶的项目。

或者您可以使用显式凭据创建客户端。您仍然需要下载 key 文件,但是在创建客户端时,请使用:

storage_client = storage.Client.from_service_account_json('service_account.json') 

==========

然后,按照示例代码:

from  google.cloud import storage 
 
client = storage.Client(project='project-id') 
bucket = client.get_bucket('bucket-id') 
blob = storage.Blob('bucket/file/path', bucket) 
blob.download_to_filename('/path/to/local/save') 

或者,如果这是一次性下载,只需安装 SDK并使用 gsutil 下载:

gsutil cp gs://bucket/file .