当我包含 bool 数据类型列时,将 NDJSON 文件加载到 Google BigQuery 时收到“无效数据文件”错误。如果我从架构和源文件中删除这些列,作业就会成功运行。我正在通过 python 脚本使用 load_table_from_uri 进程,但我也在 gui 中尝试过它,它也是同样的问题。 bool 字段的 json 文件看起来正确(已附加)。我还尝试了旧的和当前的 bool 数据类型(BOOL vrs BOOLEAN)我错过了什么。
dataset_id = 'dev'
table_id = 'DIM_EMP'
table_ref = bqClient.dataset(dataset_id).table(table_id)
job_config = bigquery.LoadJobConfig()
job_config.schema = [
bigquery.SchemaField('personId', 'INT64'),
bigquery.SchemaField('personNumber', 'STRING'),
bigquery.SchemaField('firstName', 'STRING'),
bigquery.SchemaField('middleName', 'STRING'),
bigquery.SchemaField('lastName', 'STRING'),
bigquery.SchemaField('userName', 'STRING'),
bigquery.SchemaField('accessProfile', 'STRING'),
bigquery.SchemaField('notificationProfile', 'STRING'),
bigquery.SchemaField('preferenceProfile', 'STRING'),
bigquery.SchemaField('supervisorPersonId', 'INT64'),
bigquery.SchemaField('hireDate', 'DATE'),
bigquery.SchemaField('processEmployeeProfile', 'STRING'),
bigquery.SchemaField('logonProfile', 'STRING'),
bigquery.SchemaField('birthDate', 'DATE'),
bigquery.SchemaField('delegateProfile', 'STRING'),
**bigquery.SchemaField('isManager','BOOLEAN')
bigquery.SchemaField('isEmployee','BOOL'),**
bigquery.SchemaField('localeProfile', 'STRING')
]
job_config.write_disposition = bigquery.WriteDisposition.WRITE_TRUNCATE
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = 'gs://'+project+'-stage/getPeopleDetails/DIMEMP*.ndjson'
load_job = bqClient.load_table_from_uri(
uri,
table_ref,
job_config=job_config) # API request
load_job.result()
请您参考如下方法:
要将 NDJSON 文件加载到 BigQuery 中, bool 值 true 和 false 应放在引号之间。如果列仅包含“true”或“false”,BigQuery 会自动将其类型设置为 bool 值。
