OpenEvent可将DataWorks中的事件消息发送至公共Kafka,从而为您提供消息订阅服务。在实际应用OpenEvent功能时,您首先需要在DataWorks端开启消息订阅功能,并完成订阅事件消息的前期配置。本文为您介绍如何开启消息订阅服务与配置Kafka topic。
背景信息
DataWorks的事件变更消息首先发布至Kafka的Topic中,订阅此类消息的Consumer再通过Kafka的Topic订阅消费,具体逻辑请参考OpenEvent概述。
阿里云DataWorks为您提供公共Kafka,并默认为您配置好必要参数(Topic、Group、User),因此,在DataWorks端您仅需开启消息订阅服务,并且配置好Topic用于接收哪个工作空间的哪一类事件消息即可。
关于Topic、Consumer Group及User的详细介绍请参见基本概念。
使用限制
-
仅支持阿里云主账号或者有AliyunDataWorksFullAccess权限的RAM用户进行界面相关配置。
-
新用户已不支持通过Kafka进行消息订阅。
-
开启消息订阅后,DataWorks为您默认提供配置好Topic和Group,也支持您新建Group,最多支持创建5个Group。
说明关于Topic、Consumer Group及用户的详细介绍请参见基本概念。
step1:开启消息订阅
-
登录DataWorks控制台,在左侧导航栏,单击开放平台。
-
单击OpenEvent,进入OpenEvent页面。
-
单击启用消息订阅的开关,开启消息订阅服务。
说明开启消息订阅服务后,DataWorks将会把指定事件类型的消息推送到您创建的Topic中,若关闭启用消息订阅开关,则会停止所有Topic的消息推送。
进入 OpenEvent 页面,单击 消息订阅 页签,打开 启用消息订阅 开关。
开启消息订阅后,DataWorks即自动为您完成创建Kafka User、Topic、Group等配置。
step2:配置Topic订阅内容
开启消息订阅后,DataWorks自动为您完成创建Kafka User、Topic、Group,您仅需对已创建好的Topic配置好需要订阅哪个工作空间的哪类事件,操作详情如下。
-
在Kafka Topic 信息模块,单击订阅设置。
-
在弹出的页面中,选择订阅工作空间和订阅的事件类型。
选择完成后单击确认。当前DataWorks支持订阅的事件类型包含文件变更事件、实例状态变更事件、表变更事件,各类型的事件详情请参见支持订阅的事件类型。
查看Kafka配置信息
在DataWorks上开启消息订阅后,后续您可以在服务端进行订阅代码开发。代码开发过程中,您需要在DataWorks的控制台上查看Kafka的相关配置信息。启用消息订阅后,页面展示四个区块:Kafka 接入点信息(包含 VPC(SASL_PLAINTEXT)和公网(SASL_SSL)两种接入点,可单击复制接入点地址)、Kafka 用户信息(展示用户名和密码,支持复制、查看及重置密码,也可删除后重新创建用户)、Kafka Topic 信息(展示 Topic 名称和订阅内容,可单击查看订阅内容查看详情或单击订阅设置修改订阅)、Kafka Group 信息(展示 Group ID,支持删除和新建 Group,公测期间最多创建 5 个 Group)。
后续步骤
完成开启消息订阅和订阅详情配置后,您可获取相关Kafka信息,开发一个在线服务,通过kafka SDK来消费DataWorks发送的事件消息。用户端开发消息订阅的操作详情请参见开发消息订阅:用户端。