数据推送节点

数据推送节点可将Data Studio业务流程中其他节点产生的数据查询结果,通过新建数据推送目标,将数据推送至钉钉群、飞书群、企业微信群以及teams内,便于团队成员能及时接收和关注最新数据情况。

原理介绍

数据推送节点,可以通过节点上下文参数获取上游节点的输出参数,将输出参数以占位符等形式在推送正文中进行编辑并推送至目标。数据推送节点能够获取输出参数的上游节点类型为:包含SQL查询的节点、赋值节点。

  • SQL查询节点完成查询后,生成参数名为outputs的节点输出参数,该参数可以将SQL查询节点中查询结果或输出结果传递至下游节点。配置节点上下文参数详情请参见配置节点上下文

  • 在数据推送节点中编辑推送内容时,若期望通过Markdown组件来展示待推送的数据内容,此时可以在Markdown正文中使用${参数名}的格式,添加和引用上游节点的输出参数。

  • 在数据推送节点中编辑推送内容时,若期望通过表格组件来展示待推送的数据内容,此时可以在表格组件的关联参数中选择上游节点的SQL查询字段名,以获取数据结果。

前提条件

  • 请确保已开通DataWorks服务,详情请参见开通DataWorks服务

  • 请确保已创建DataWorks空间,详情请参见创建工作空间

  • 请确保在DataWorks空间内,已创建业务流程。

  • 请确保已拥有Serverless资源组,仅支持Serverless资源组执行该节点任务,如需购买使用Serverless资源组,详情请参见新增和使用Serverless资源组

使用限制

  • 数据推送功能推送至不同对象时的数据大小限制:

    • 推送目标为钉钉,推送数据大小不超过20KB

    • 推送目标为飞书,推送数据大小不超过30KB,图片小于10MB

    • 推送目标为企业微信,每个机器人发送的消息不能超过20条/分钟

    • 推送目标为Teams,推送大小不大于28KB

    说明

    钉钉移动端和企业微信暂不支持Markdown中定义的表格的渲染,建议在推送内容中使用表格组件来展示数据内容。飞书与Teams移动版支持正常展示Markdown中定义的表格。

  • 仅以下地域的DataWorks工作空间可使用数据推送功能:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)、中国香港、新加坡、马来西亚(吉隆坡)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)

操作步骤

步骤一:新建数据推送节点的上游节点

数据推送节点,需要从上游节点生成上下文参数中的输出参数,再将其推送出去,所以在新建数据推送节点前,必须确保上游已拥有查询节点赋值节点

说明
  • 上游需查询MaxCompute数据进行推送时,需使用赋值节点对MaxCompute数据进行查询,在调度配置中生成下文输出参数,输出至数据推送节点,详情请参见:MaxCompute数据推送

  • 上游查询节点为其他数据源时,在上游节点中生成参数名为outputs的节点输出参数,并将参数输出至数据推送节点,详情请参见:最佳实践:数据开发工作流中配置数据推送节点

新建SQL查询节点

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  1. 双击已创建的业务流程,进入业务流程的画布页面,单击image新建SQL节点。

  2. 双击已创建的SQL节点,编辑查询SQL。

  3. 单击调度配置,打开调度配置面板,配置调度,可根据业务需求进行配置。

    配置调度的详细操作步骤可参见配置基础属性时间属性配置说明配置资源属性配置同周期调度依赖以及配置节点上下文等章节。

  4. 调度配置面板内,单击节点上下文参数 > 本节点输出参数内单击添加赋值参数将SQL查询的结果作为输出参数进行输出。

  5. 单击保存图标image保存查询SQL节点。

新建赋值节点

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  1. 双击已创建的业务流程,进入业务流程的画布页面,单击image新建赋值节点。

  2. 双击赋值节点,进入赋值节点编辑页面。

    赋值节点可通过ODPS SQL、SHELL和Python三种赋值语言进行赋值计算,详情请参见赋值节点

  3. 配置完成赋值节点后,单击image保存赋值节点。

步骤二:新建数据推送节点

  1. 双击已新建的业务流程,进入业务流程的画布页面,单击image新建数据推送节点。

    配置项

    配置内容

    节点类型

    下拉框选中数据推送。

    路径

    选择与步骤一新建的节点放置在同一路径下。

    名称

    根据业务需求自定义数据推送节点名称。

  2. 双击已创建的数据推送节点,进入数据推送节点编辑页面。

  3. 单击调度配置,在调度依赖 > 依赖的上游节点根据节点名称单击添加,将其步骤一创建的节点添加为数据推送节点的上游节点。

  4. 在调度配置面板内,在资源属性 > 调度资源组选择数据推送节点功能上线日期(2024年6月28日)后创建的Serverless资源组,若资源组为发布日期前创建,则需提工单升级调度资源组。

  5. 在调度配置面板内,节点上下文参数 > 本节点输入参数后,再单击添加,将步骤一新建的查询节点的输出参数作为取值来源添加为数据推送节点的输入参数,然后关闭调度配置面板。

  6. 在数据推送编辑页面内配置数据推送的目标、标题以及正文内容。

    1. 下拉数据推送目标选择所需的数据推送目标,若不存在,可单击下拉框右下角的创建数据推送目标,新建推送目标。

      参数

      说明

      类型

      支持钉钉、飞书、企业微信以及Teams。

      对象名称

      可按业务需求进行自定义。

      WebHook

      钉钉、飞书、企业微信以及Teams的Webhook,需要在相应的目标平台上获取。

      说明

      推送目标管理:

      1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据服务,在下拉框中选择对应工作空间后单击进入数据服务

      2. 服务开发页面的左下角单击image弹出设置页面,切换至推送目标管理页签,单击创建数据推送目标新建需要推送的目标,并对已创建的目标进行管理,详情可参见创建数据推送目标

    2. 标题:按业务需求进行自定义。

    3. 正文:可添加Markdown与表格,与数据推送服务功能一致,具体请参见配置推送内容

      说明
      • 当上游节点是SQL查询节点时。

        • 数据推送正文中的Markdown可以直接使用SQL查询的字段名作为占位符${字段名},获取上游输出的参数。

        • 数据推送正文中的表格,可通过上游SQL查询的字段名作为关联参数获取数据

      • 当上游节点是赋值节点时,数据推送正文中需要使用数据推送节点的本节点输入参数的参数名作为占位符${本节点输入参数名},获取上游输出的参数。

  7. 单击image保存数据推送节点。

步骤三:调试运行任务与发布

在完成数据推送流程配置后,双击业务流程,进入业务流程画布页面,测试业务流程是否能正常运行,测试成功后,即可提交发布任务。

  1. 在数据推送流程画布编辑页面,单击image,运行业务流程。

  2. 待数据推送流程中的所有节点后出现image,单击image提交运行成功的数据推送流程。

  3. 选择提交对话框中需要提交的节点,勾选忽略输入输出不一致的告警

  4. 单击提交

  5. 提交成功后,即可在发布页面发布流程节点,详情可参见发布任务

最佳实践

数据推送节点在业务流程中,可以进行简单推送合并推送脚本推送条件推送以及MaxCompute等多种用法,详情请参见最佳实践:数据开发工作流中配置数据推送节点

后续步骤

数据推送任务发布成功后,可在运维页面对任务进行运维操作,详情可参见周期任务基本运维操作