本文介绍如何使用DataHub数据源进行数据分析或者交互式开发。

建表语法

CREATE TABLE tbName
USING datahub
OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);

Table Schema

创建DataHub表时,无需显式定义表的字段信息,示例如下所示。
spark-sql> CREATE TABLE datahub_table_test
         > USING datahub
         > OPTIONS
         > ( access.key.id = '<your access key id>',
         >   access.key.secret = '<you access key secret>',
         >   endpoint = '<your end point>',
         >   project = '<your project name>',
         >   topic = '<your topic>'
         > )

spark-sql> DESC datahub_table_test;
id  string  NULL
name string NULL
Time taken: 0.401 seconds, Fetched 2 row(s)

配置参数说明

参数名 说明 是否必选
access.key.id 阿里云AccessKey ID。
access.key.secret 阿里云AccessKey Secret。
endpoint DataHub API Endpoint。
project DataHub项目名。
topic DataHub的topic。
decimal.precision 当topic字段中包含decimal字段时,需要指定。
decimal.scale 当topic字段中包含decimal字段时,需要指定。