Skip to main content
 首页 » 编程设计

python之我们如何通过 rest API 或 http 请求创建 Dataproc 集群

2024年11月01日13jirigala

我是 python 新手,在这里我想使用 http 请求创建 dataproc 集群。 我正在关注下面的 dataproc 文档,他们在 REST API 部分中提到了这些文档。见下文 https://cloud.google.com/dataproc/docs/guides/create-cluster#creating_a_cloud_dataproc_cluster

看下面我正在尝试的代码

Endpoint_URL  = "https://dataproc.googleapis.com/v1/projects/*******/regions/us-central1-b/clusters" 
data = { 
    "projectId": "*****", 
    "clusterName": "cluster-1", 
    "config": { 
        "configBucket": "", 
        "gceClusterConfig": { 
            "subnetworkUri": "default", 
                "zoneUri": "us-central1-b" 
        }, 
        "masterConfig": { 
            "numInstances": 1, 
            "machineTypeUri": "n1-standard-1", 
            "diskConfig": { 
                "bootDiskSizeGb": 500, 
                "numLocalSsds": 0 
            } 
        }, 
        "workerConfig": { 
            "numInstances": 2, 
            "machineTypeUri": "n1-standard-1", 
            "diskConfig": { 
                "bootDiskSizeGb": 100, 
                "numLocalSsds": 0 
            } 
        } 
    } 
} 
r = requests.post(url=Endpoint_URL, data=data) 
op_url = r.text 
print("The pastebin URL is:%s" % op_url) 

我不知道这是否正确,使用这段代码我无法创建集群。什么是解决方案 谢谢

请您参考如下方法:

你应该使用 python-client-library更轻松地访问 Dataproc API。如果一定要手写http调用,可以post body为json格式。以下 http 请求将起作用:

    uri: https://dataproc.googleapis.com/v1/projects/<project>/regions/<region>/clusters?alt=json 
    method: POST 
 
    # Headers 
    Authorization: <oauth token> 
    accept: application/json 
    accept-encoding: gzip, deflate 
    content-length: <length> 
    content-type: application/json 
 
    # Body 
    { 
       "clusterName": "<cluster-name>", 
       "config": { 
           "gceClusterConfig": {...}, 
           "masterConfig": {...}, 
           "softwareConfig": {...}, 
           "workerConfig": {...} 
       }, 
       "projectId": "<project_id>" 
    } 

如果你安装了 gcloud sdk,你可以通过添加 --log-http 标志来查看客户端发出的各种 http 请求的详细信息。例如-

gcloud dataproc clusters create <cluster-name> --log-http