文档

公共节点

更新时间:

公共节点是可被多个数据开发场景复用的计算节点。公共节点本文为您介绍如何使用公共节点。

前提条件

您已创建用于进行节点运行、部署、上线的云计算资源,具体操作,请参见新建云计算资源

背景信息

计算节点是用于定义不同数据类型处理逻辑的节点,而公共节点是可组成数据加工场景且能被多次复用的计算节点。

公共场景支持计算引擎,提供节点统一定义、版本管理功能,提供在各个数据加工场景中跨存储/计算平台复用的能力,通过节点版本管理,定制适合不用业务或时期的数据加工流程,提高数据开发效率。

操作步骤

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

  4. 说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  5. 在左侧导航栏,单击image图标,选择场景模式

  6. 将鼠标悬停至公共节点,单击进入图标。

  7. 公共节点页面,单击新建节点

  8. 新建节点对话框,选择目标节点类型,单击确定,即可进行节点代码、属性、运行、引用函数的配置以及保存、发布等操作。

    说明

    您可参照下表节点描述,选择目标节点类型,根据具体操作完成下一步。

    资源类型

    节点类型

    描述

    离线类型

    MaxCompute SQL

    MaxCompute SQL节点采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景,具体操作,请参见新建MaxCompute SQL类型的公共节点

    MaxCompute MR

    MaxCompute MR节点可通过上传算法包、编写Shell脚本以及SQL语句的方式处理MaxCompute中的数据,具体操作,请参见新建MaxCompute MR类型的公共节点

    RDS MySQL

    RDS MySQL节点运行于MySQL类型的云计算资源之上,可通过输入SQL语句对目标MySQL数据源进行数据开发,具体操作,请参见新建RDS MySQL类型的公共节点

    Elastic Job

    Elastic Job节点提供“调用一次,执行一次”的离线类任务型服务,具体操作,请参见新建Elastic Job类型的公共节点

    Hive

    Hive节点通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作,具体操作,请参见新建Hive类型的公共节点

    Hologres

    Hologres节点运行于Hologres云计算资源之上,您可使用标准的SQL语句查询处理MaxCompute和Hologres中的海量数据,具体操作,请参见新建Hologres类型的公共节点

    AnalyticDB PostgreSQL

    AnalyticDB PostgreSQL节点运行于AnalyticDB PostgreSQL类型的云计算资源,支持对AnalyticDB PostgreSQL和MaxCompute类型的数据进行处理,具体操作,请参见新建AnalyticDB PostgreSQL类型的公共节点

    PostgreSQL

    PostgreSQL节点行于PostgreSQL类型的云计算资源,支持对PostgreSQL和MaxCompute类型的数据进行数据开发,具体操作,请参见新建PostgreSQL类型的公共节点

    Spark Batch

    Spark Batch节点,运行于Spark类型的云计算资源之上,可通过输入SQL语句处理Spark类型的数据,具体操作,请参见新建Spark Batch类型的公共节点

    在线类型

    Elastic Service

    Elastic Service节点是在线服务节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务,具体操作,请参见新建Elastic Service在线类型的公共节点

    流式类型

    Blink

    Blink节点运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和ApsaraDB for RDS类型的数据源进行处理,具体操作,请参见新建Blink类型的公共节点

    Blink DataStream

    Blink DataStream节点运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB、Table Store 、MaxCompute、和ApsaraDB for RDS类型的数据源进行处理,具体操作,请参见新建Blink DataStream类型的公共节点

    Flink DataStream

    Flink DataStream节点是适用于在Hadoop+yarn集群上运行的Flink节点,具体操作,请参见新建Flink DataStream类型的公共节点

    Flink Vvp Stream

    Flink Vvp Stream节点适用于阿里云Flink团队提供的Flink集群模式(也称为Flink全托管模式),提供对外API访问,具体操作,请参见新建Flink Vvp Stream类型的公共节点

    Flink Vvp SQL

    Flink Vvp SQL节点为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的节点。适用于阿里云Flink团队提供的Flink集群模式(也称为Flink全托管模式),提供对外API访问,具体操作,请参见新建Flink Vvp SQL类型的公共节点

    Flink Vvr Stream

    Flink Vvr Stream节点是适用于在K8s部署运行的Flink节点,具体操作,请参见新建Flink Vvr Stream类型的公共节点

    Flink Vvr SQL

    Flink Vvr SQL节点是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,适用于在K8s部署运行的Flink节点,具体操作,请参见新建Flink Vvr SQL类型的公共节点

    Flink SQL

    Flink SQL节点是基于Apache Flink(以下简称Flink)开发的商业版,适用于以YARN模式部署运行的Flink节点,具体操作,请参见新建Flink SQL类型的公共节点

    Spark Stream

    Spark Stream节点是适用于在Hadoop+yarn集群上运行的Spark节点,具体操作,请参见新建Spark Stream类型的公共节点

  • 本页导读 (0)
文档反馈