开启消息订阅:DataWorks端(基于Kafka)

OpenEvent可将DataWorks中的事件消息发送至公共Kafka,从而为您提供消息订阅服务。在实际应用OpenEvent功能时,您首先需要在DataWorks端开启消息订阅功能,并完成订阅事件消息的前期配置。本文为您介绍如何开启消息订阅服务与配置Kafka topic。

背景信息

DataWorks的事件变更消息首先发布至Kafka的Topic中,订阅此类消息的Consumer再通过Kafka的Topic订阅消费,具体逻辑请参考OpenEvent概述

阿里云DataWorks为您提供公共Kafka,并默认为您配置好必要参数(Topic、Group、User),因此,在DataWorks端您仅需开启消息订阅服务,并且配置好Topic用于接收哪个工作空间的哪一类事件消息即可。

说明

关于Topic、Consumer Group及User的详细介绍请参见基本概念

使用限制

  • 仅支持阿里云主账号或者有AliyunDataWorksFullAccess权限的RAM用户进行界面相关配置。

  • 新用户已不支持通过Kafka进行消息订阅。

  • 开启消息订阅后,DataWorks为您默认提供配置好Topic和Group,也支持您新建Group,最多支持创建5个Group。

    说明

    关于Topic、Consumer Group及用户的详细介绍请参见基本概念

step1:开启消息订阅

  1. 登录DataWorks控制台,在左侧导航栏,单击开放平台

  2. 单击OpenEvent,进入OpenEvent页面。

  3. 单击启用消息订阅的开关,开启消息订阅服务。

    说明

    开启消息订阅服务后,DataWorks将会把指定事件类型的消息推送到您创建的Topic中,若关闭启用消息订阅开关,则会停止所有Topic的消息推送。

    开启消息订阅

开启消息订阅后,DataWorks即自动为您完成创建Kafka User、Topic、Group等配置。

step2:配置Topic订阅内容

开启消息订阅后,DataWorks自动为您完成创建Kafka User、Topic、Group,您仅需对已创建好的Topic配置好需要订阅哪个工作空间的哪类事件,操作详情如下。

  1. Kafka Topic 信息模块,单击订阅设置

  2. 在弹出的页面中,选择订阅工作空间和订阅的事件类型。

    订阅内容当前DataWorks支持订阅的事件类型包含文件变更事件、实例状态变更事件、表变更事件,各类型的事件详情请参见支持订阅的事件类型

查看Kafka配置信息

在DataWorks上开启消息订阅后,后续您可以在服务端进行订阅代码开发。代码开发过程中,您需要在DataWorks的控制台上查看Kafka的相关配置信息。查看信息

后续步骤

完成开启消息订阅和订阅详情配置后,您可获取相关Kafka信息,开发一个在线服务,通过kafka SDK来消费DataWorks发送的事件消息。用户端开发消息订阅的操作详情请参见开发消息订阅:用户端