全部产品

Topic操作

创建Topic

用户点击Project详情页面中的创建Topic按钮,进行Topic的创建。
可以通过两种方式创建Topic

自定义格式创建

test1注意:开启Shard扩展模式,shard支持水平扩展,不再支持“合并”和“分裂”,以后shard数量只能增加,不可减少。此模式开启后可以使用kafka方式来消费当前Topic


用户可根据业务需求进行Topic的创建,各选项的意义可查看帮助文档中的基本概念。

通过导入MaxCompute表结构进行创建

步骤一

需要指定访问MaxCompute的相关参数:test2

步骤二

点击下一步,导入MaxCompute的表结构,表结构中的Topic名称、字段注释以及字段是否为空可以根据需要进行修改
注意:开启Shard扩展模式,shard支持水平扩展,不再支持“合并”和“分裂”,以后shard数量只能增加,不可减少。此模式开启后可以使用kafka方式来消费当前Topic test-3

查看Topic

1.进入Project页面,点击查看按钮
2-4
2.查看Topic各项详情,如Topic存储量
2-5

删除Topic

用户点击Topic列表中的删除按钮可进行Topic的删除。需要注意的是,一旦删除Topic,该Topic下的数据,资源(Shard, Connector)均被删除,无法恢复,请谨慎操作。2-6

新增字段

新增Topic Field有两种方式,页面新增和SDK新增

页面新增Field

  1. 进入Topic页面,在右下角点击新建Schema

2-7 2.在右侧框中填写新增字段名称、字段数据类型、是否为空以及字段描述2-83.点击确定,创建成功后查看Schema详情2-9

注意事项: 每次只支持新增一个字段,若有同时新增多字段需求请使用console工具或者自定义sdk实现

sdk新增

参考代码如下:

  • 参数
    • projectName The name of the project in which you get.
    • topicName The name of the topic.
  • Exception
    • DatahubClientException
    • InvalidParameterException
    • AuthorizationFailureException
    • ResourceNotFoundException
  • 示例
    1. public static void appendNewField() {
    2. try {
    3. Field newField = new Field("newField", FieldType.STRING, true);
    4. datahubClient.appendField(Constant.projectName, Constant.topicName, newField);
    5. System.out.println("append field successful");
    6. } catch (InvalidParameterException e) {
    7. System.out.println("invalid parameter, please check your parameter");
    8. System.exit(1);
    9. } catch (AuthorizationFailureException e) {
    10. System.out.println("AK error, please check your accessId and accessKey");
    11. System.exit(1);
    12. } catch (ResourceNotFoundException e) {
    13. System.out.println("project or topic not found");
    14. System.exit(1);
    15. } catch (DatahubClientException e) {
    16. System.out.println("other error");
    17. System.exit(1);
    18. }
    19. }

修改Topic生命周期

DataHub 可以修改Topic的生命周期参考代码如下:

  • 参数
    • projectName The name of the project in which you get.
    • topicName The name of the topic.
    • lifeCycle The lifeCycle of the topic.
    • comment The comment of the topic.
  • Exception
    • DatahubClientException
    • InvalidParameterException
    • AuthorizationFailureException
    • ResourceNotFoundException
  • 示例
    1. public static void updatetopic() {
    2. try {
    3. int lifeCycle = 7;
    4. String comment = "test";
    5. datahubClient.updateTopic(Constant.projectName, Constant.topicName,liefCycle,comment );
    6. System.out.println("update topicLifeCycle success!");
    7. } catch (InvalidParameterException e) {
    8. System.out.println("invalid parameter, please check your parameter");
    9. System.exit(1);
    10. } catch (AuthorizationFailureException e) {
    11. System.out.println("AK error, please check your accessId and accessKey");
    12. System.exit(1);
    13. } catch (ResourceNotFoundException e) {
    14. System.out.println("project or topic not found");
    15. System.exit(1);
    16. } catch (DatahubClientException e) {
    17. System.out.println("other error");
    18. System.exit(1);
    19. }
    20. }

Topic操作日志

DataHub 目前已经支持Topic级别的操作记录显示,用户可以通过页面和SDK查看日志记录

步骤一

​ 进入Topic页面,点击操作记录按钮

sad_1

步骤二

​ 查看操作日志

注意说明

  • 操作记录显示范围为最近1000条数据

  • 显示参数说明:显示参数分为三部分,用户操作的UID、操作的命令、以及具体的参数

sad_2