Stream Studio是DataWorks下的一站式实时计算开发平台,本文为您介绍Stream Studio的功能和开发流程。

Stream Studio基于阿里云实时计算引擎(基于Flink)构建,支持DAG与SQL两种模式互相转换,您可以通过可视化拖拽进行实时计算作业开发。

Stream Studio的核心功能如下:
  • 支持DAG模式,通过可视化拖拽即可进行实时计算作业开发。
  • 支持Flink SQL模式,您可以选择通过纯SQL开发实时计算作业。
  • 支持DAG与Flink SQL模式相互转换,方便查看SQL的算子结构。
  • 支持Function Studio在线开发UDF,支持一键发布UDF(仅独享模式支持)。
  • 支持作业智能诊断,方便排查线上作业问题。

实时计算任务开发流程

通过Stream Studio进行实时计算任务的开发和运维的流程如下:
  1. 绑定实时计算项目

    使用Stream Studio前,必须先购买实时计算服务,并成功创建项目后,绑定实时计算项目至DataWorks的工作空间中。详情请参见绑定实时计算项目

  2. 数据采集

    数据需要经过采集,才可以进入大数据系统。为最大化利用您现有的流式存储系统,阿里云实时计算对接了多种上游的流式存储,让您无需额外进行数据的采集,即可享受现有的数据流式存储。详情请参见数据存储

  3. 新建实时计算任务

    完成数据的采集后,即可新建实时计算任务。详情请参见新建实时计算任务

  4. 开发实时计算任务

    新建实时计算任务后,即可通过Stream Studio组件进行数据开发。详情请参见组件配置模块。

  5. 任务运维

    完成任务的开发和发布后,单击Stream Studio页面右上角的运维。目前Stream Studio的任务运维功能直接对接原有实时计算开发平台,详情请参见数据运维