我是 python 新手,在这里我想使用 http 请求创建 dataproc 集群。 我正在关注下面的 dataproc 文档,他们在 REST API 部分中提到了这些文档。见下文 https://cloud.google.com/dataproc/docs/guides/create-cluster#creating_a_cloud_dataproc_cluster
看下面我正在尝试的代码
Endpoint_URL = "https://dataproc.googleapis.com/v1/projects/*******/regions/us-central1-b/clusters"
data = {
"projectId": "*****",
"clusterName": "cluster-1",
"config": {
"configBucket": "",
"gceClusterConfig": {
"subnetworkUri": "default",
"zoneUri": "us-central1-b"
},
"masterConfig": {
"numInstances": 1,
"machineTypeUri": "n1-standard-1",
"diskConfig": {
"bootDiskSizeGb": 500,
"numLocalSsds": 0
}
},
"workerConfig": {
"numInstances": 2,
"machineTypeUri": "n1-standard-1",
"diskConfig": {
"bootDiskSizeGb": 100,
"numLocalSsds": 0
}
}
}
}
r = requests.post(url=Endpoint_URL, data=data)
op_url = r.text
print("The pastebin URL is:%s" % op_url)
我不知道这是否正确,使用这段代码我无法创建集群。什么是解决方案 谢谢
请您参考如下方法:
你应该使用 python-client-library更轻松地访问 Dataproc API。如果一定要手写http调用,可以post body为json格式。以下 http 请求将起作用:
uri: https://dataproc.googleapis.com/v1/projects/<project>/regions/<region>/clusters?alt=json
method: POST
# Headers
Authorization: <oauth token>
accept: application/json
accept-encoding: gzip, deflate
content-length: <length>
content-type: application/json
# Body
{
"clusterName": "<cluster-name>",
"config": {
"gceClusterConfig": {...},
"masterConfig": {...},
"softwareConfig": {...},
"workerConfig": {...}
},
"projectId": "<project_id>"
}
如果你安装了 gcloud sdk,你可以通过添加 --log-http 标志来查看客户端发出的各种 http 请求的详细信息。例如-
gcloud dataproc clusters create <cluster-name> --log-http
