OpenEvent可将DataWorks中的事件消息发送至公共Kafka,从而为您提供消息订阅服务。在实际应用OpenEvent功能时,您首先需要在DataWorks端开启消息订阅功能,并完成订阅事件消息的前期配置。本文为您介绍如何开启消息订阅服务与配置Kafka topic。

背景信息

DataWorks的事件变更消息首先发布至Kafka的Topic中,订阅此类消息的Consumer再通过Kafka的Topic订阅消费,具体逻辑请参考OpenEvent概述

阿里云DataWorks为您提供公共Kafka,并默认为您配置好必要参数(Topic、Group、User),因此,在DataWorks端您仅需开启消息订阅服务,并且配置好Topic用于接收哪个工作空间的哪一类事件消息即可。
说明 关于Topic、Consumer Group及User的详细介绍请参见名词解释

使用限制

  • 仅DataWorks企业版用户可参加邀测,企业版用户可以提交工单参与邀测并试用,无需支付相关费用。
  • 仅华北2(北京)、华东1(杭州)、华南1(深圳)和华东2(上海)地域启动邀测。
  • 仅支持阿里云主账号或者有AliyunDataWorksFullAccess权限的RAM用户进行界面相关配置。
  • 开启消息订阅后,DataWorks为您默认提供配置好Topic和Group,也支持您新建Group。公测期间最多支持创建5个Group。
    说明 关于Topic、Consumer Group及用户的详细介绍请参见名词解释

step1:开启消息订阅

  1. 登录DataWorks控制台,在左侧导航栏,单击开放平台
  2. 单击OpenEvent,进入OpenEvent页面。
  3. 单击启用消息订阅的开关,开启消息订阅服务。
    说明 开启消息订阅服务后,DataWorks将会把指定事件类型的消息推送到您创建的Topic中,若关闭启用消息订阅开关,则会停止所有Topic的消息推送。
    开启消息订阅
开启消息订阅后,DataWorks即自动为您完成创建Kafka User、Topic、Group等配置。

step2:配置Topic订阅内容

开启消息订阅后,DataWorks自动为您完成创建Kafka User、Topic、Group,您仅需对已创建好的Topic配置好需要订阅哪个工作空间的哪类事件,操作详情如下。

  1. Kafka Topic 信息模块,单击订阅设置
  2. 在弹出的页面中,选择订阅工作空间和订阅的事件类型。
    订阅内容当前DataWorks支持订阅的事件类型包含文件变更事情、实例状态变更事件、表变更事情,各类型的事情详情请参见支持订阅的事件类型

查看Kafka配置信息

在DataWorks上开启消息订阅后,后续您可以在服务端进行订阅代码开发。代码开发过程中,您需要在DataWorks的控制台上查看Kafka的相关配置信息。查看信息

后续步骤

完成开启消息订阅和订阅详情配置后,您可获取相关Kafka信息,开发一个在线服务,通过kafka SDK来消费DataWorks发送的事件消息。用户端开发消息订阅的操作详情请参见开发消息订阅:用户端