本文为您介绍如何使用DataHub数据表。

建表语法

CREATE TABLE tbName
USING datahub
OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);

配置参数说明

参数名 说明 是否必选
access.key.id 阿里云AccessKeyId
access.key.secret 阿里云AccessKeySecret
endpoint DataHub API Endpoint
project DataHub项目名
topic DataHub Topic
decimal.precision 当topic字段中包含decimal字段时,需要指定
decimal.scale 当topic字段中包含decimal字段时,需要指定

Table Schema

创建DataHub表时,无须显式地定义表的字段信息,例如:

spark-sql> CREATE TABLE datahub_table_test
         > USING datahub
         > OPTIONS
         > (...)

spark-sql> DESC datahub_table_test;
id  string  NULL
name string NULL
Time taken: 0.401 seconds, Fetched 2 row(s)