名词解释
| 名词 |
解释 |
| Project |
项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。 |
| Topic |
Topic是 DataHub 订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据。 更多详情请参考：Project及Topic数量限制。 |
| Topic Lifecycle |
表示一个Topic中写入数据在系统中可以保存的最长时间，以天为单位，最小值为1，最大值为7 |
| Shard |
Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态 : Opening - 启动中，Active - 启动完成可服务。每个Shard启用以后会占用一定的服务端资源，建议按需申请Shard数量。 |
| Shard Hash Key Range |
每个Shard都有的属性，包括开始和结束的Key范围，写入数据的时候具有相同Key的数据会落到同一个Shard上。对一个Shard的Key范围是左闭右开。更多详情请参考：根据HashKey写入数据。 |
| Shard Merge |
Shard合并，可以把相邻的Key Range连接的Shard merge成一个Shard。更多详情请参考：Shard扩容缩容。 |
| Shard Split |
Shard分裂，可以把一个Shard分裂成Shard Key Range相连接的两个Shard |
| Record |
用户数据和 DataHub 端交互的基本单位 |
| RecordType |
Topic的数据类型，目前支持Tuple与Blob两种类型。Tuple类型的Topic支持类似于数据库的记录的数据，每条记录包含多个列。Blob类型的Topic仅支持写入一块二进制数据。 |
数据类型介绍
- Tuple类型下只支持写入数据是有格式的数据，支持以下几种数据类型
| 类型 |
含义 |
值域 |
| BIGINT |
8字节有符号整型 |
-9223372036854775807 ~ 9223372036854775807 |
| DOUBLE |
8字节双精度浮点数 |
-1.0 _10^308 ~ 1.0 _10^308 |
| BOOLEAN |
布尔类型 |
True/False或true/false或0/1 |
| TIMESTAMP |
时间戳类型 |
表示到微秒的时间戳类型 |
| STRING |
字符串，只支持UTF-8编码 |
单个STRING列最长允许2MB |
| TINYINT |
单字节整型 |
-128 ~127 |
| SMALLINT |
双字节整型 |
-32768 ~ 32767 |
| INTEGER |
4字节整型 |
-2147483648 ~ 2147483647 |
| FLOAT |
4字节单精度浮点数 |
-3.40292347_10^38 ~ 3.40292347_10^38 |
| DECIMAL |
数字型 |
- 10^38 +1 ~ 10^38 - 1 |
DataHub 中的 TINYINT ， SMALLINT ， INTEGER ， FLOAT 类型从 java sdk 2.16.1-public 开始支持。
- Blob模式下支持写入一块二进制数据作为一个Record，数据将会以BASE64编码传输。
Shard状态说明
| 状态 |
说明 |
| Opening |
Topic刚创建，所有shard会处于Opening状态直至准备完成。不可读写。 |
| Active |
Shard通道打开后，状态会置为Active，此时表示Shard正常可读写。 |
| Closing |
Shard进行了Split/Merge操作，后台正在关闭该通道。该状态Shard不可读写。 |
| Closed |
Shard在Split/Merge完成后，会变为Closed态，此时Shard为只读状态。 |
异常描述
| ErrorCode |
HttpCode |
含义 |
| InvalidUriSpec |
400 |
请求的Uri非法 |
| InvalidParameter |
400 |
参数错误，详细内容请看返回的ErrorMessga |
| Unauthorized |
401 |
签名错误 |
| NoPermission |
403 |
账号权限不足 |
| InvalidSchema |
400 |
Schema格式错误 |
| InvalidCursor |
400 |
无效或过期的cursor |
| NoSuchProject |
404 |
请求的Project不存在 |
| NoSuchTopic |
404 |
请求的Topic不存在 |
| NoSuchShard |
404 |
请求的ShardID不存在 |
| ProjectAlreadyExist |
400 |
Project已存在 |
| TopicAlreadyExist |
400 |
Topic已存在 |
| InvalidShardOperation |
405 |
非法Shard操作，如Shard已经Closed后继续写入. |
| LimitExceeded |
400 |
请求参数超出限制，如Shard总数超过512个. |
| InternalServerError |
500 |
未知错误或内部服务异常或系统处于升级中. |