本文介绍如何使用DataHub数据源进行数据分析或者交互式开发。

建表语法

CREATE TABLE tbName
USING datahub
OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);

配置参数说明

参数名 说明 是否必选
access.key.id 阿里云AccessKey ID。
access.key.secret 阿里云AccessKey Secret。
endpoint DataHub API Endpoint。
project DataHub项目名。
topic DataHub的topic。
decimal.precision 当topic字段中包含decimal字段时,需要指定。
decimal.scale 当topic字段中包含decimal字段时,需要指定。

Table Schema

创建DataHub表时,无需显式定义表的字段信息,示例如下所示。
spark-sql> CREATE TABLE datahub_table_test
         > USING datahub
         > OPTIONS
         > (...)

spark-sql> DESC datahub_table_test;
id  string  NULL
name string NULL
Time taken: 0.401 seconds, Fetched 2 row(s)