公共节点是可被多个数据开发场景复用的计算节点。公共节点本文为您介绍如何使用公共节点。
前提条件
您已创建用于进行节点运行、部署、上线的云计算资源,具体操作,请参见新建云计算资源。
背景信息
计算节点是用于定义不同数据类型处理逻辑的节点,而公共节点是可组成数据加工场景且能被多次复用的计算节点。
公共场景支持计算引擎,提供节点统一定义、版本管理功能,提供在各个数据加工场景中跨存储/计算平台复用的能力,通过节点版本管理,定制适合不用业务或时期的数据加工流程,提高数据开发效率。
操作步骤
登录数据资源平台控制台。
在页面左上角,单击图标,选择研发工作台。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工。
在左侧导航栏,单击图标,选择场景模式。
将鼠标悬停至公共节点,单击图标。
在公共节点页面,单击新建节点。
在新建节点对话框,选择目标节点类型,单击确定,即可进行节点代码、属性、运行、引用函数的配置以及保存、发布等操作。
您可参照下表节点描述,选择目标节点类型,根据具体操作完成下一步。
资源类型
节点类型
描述
离线类型
MaxCompute SQL
MaxCompute SQL节点采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景,具体操作,请参见新建MaxCompute SQL类型的公共节点。
MaxCompute MR
MaxCompute MR节点可通过上传算法包、编写Shell脚本以及SQL语句的方式处理MaxCompute中的数据,具体操作,请参见新建MaxCompute MR类型的公共节点。
RDS MySQL
RDS MySQL节点运行于MySQL类型的云计算资源之上,可通过输入SQL语句对目标MySQL数据源进行数据开发,具体操作,请参见新建RDS MySQL类型的公共节点。
Elastic Job
Elastic Job节点提供“调用一次,执行一次”的离线类任务型服务,具体操作,请参见新建Elastic Job类型的公共节点。
Hive
Hive节点通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作,具体操作,请参见新建Hive类型的公共节点。
Hologres
Hologres节点运行于Hologres云计算资源之上,您可使用标准的SQL语句查询处理MaxCompute和Hologres中的海量数据,具体操作,请参见新建Hologres类型的公共节点。
AnalyticDB PostgreSQL
AnalyticDB PostgreSQL节点运行于AnalyticDB PostgreSQL类型的云计算资源,支持对AnalyticDB PostgreSQL和MaxCompute类型的数据进行处理,具体操作,请参见新建AnalyticDB PostgreSQL类型的公共节点。
PostgreSQL
PostgreSQL节点行于PostgreSQL类型的云计算资源,支持对PostgreSQL和MaxCompute类型的数据进行数据开发,具体操作,请参见新建PostgreSQL类型的公共节点。
Spark Batch
Spark Batch节点,运行于Spark类型的云计算资源之上,可通过输入SQL语句处理Spark类型的数据,具体操作,请参见新建Spark Batch类型的公共节点。
在线类型
Elastic Service
Elastic Service节点是在线服务节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务,具体操作,请参见新建Elastic Service在线类型的公共节点。
流式类型
Blink
Blink节点运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和ApsaraDB for RDS类型的数据源进行处理,具体操作,请参见新建Blink类型的公共节点。
Blink DataStream
Blink DataStream节点运行于Blink云计算资源之上,支持对DataHub Service、AnalyticDB、Table Store 、MaxCompute、和ApsaraDB for RDS类型的数据源进行处理,具体操作,请参见新建Blink DataStream类型的公共节点。
Flink DataStream
Flink DataStream节点是适用于在Hadoop+yarn集群上运行的Flink节点,具体操作,请参见新建Flink DataStream类型的公共节点。
Flink Vvp Stream
Flink Vvp Stream节点适用于阿里云Flink团队提供的Flink集群模式(也称为Flink全托管模式),提供对外API访问,具体操作,请参见新建Flink Vvp Stream类型的公共节点。
Flink Vvp SQL
Flink Vvp SQL节点为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的节点。适用于阿里云Flink团队提供的Flink集群模式(也称为Flink全托管模式),提供对外API访问,具体操作,请参见新建Flink Vvp SQL类型的公共节点。
Flink Vvr Stream
Flink Vvr Stream节点是适用于在K8s部署运行的Flink节点,具体操作,请参见新建Flink Vvr Stream类型的公共节点。
Flink Vvr SQL
Flink Vvr SQL节点是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,适用于在K8s部署运行的Flink节点,具体操作,请参见新建Flink Vvr SQL类型的公共节点。
Flink SQL
Flink SQL节点是基于Apache Flink(以下简称Flink)开发的商业版,适用于以YARN模式部署运行的Flink节点,具体操作,请参见新建Flink SQL类型的公共节点。
Spark Stream
Spark Stream节点是适用于在Hadoop+yarn集群上运行的Spark节点,具体操作,请参见新建Spark Stream类型的公共节点。
若您已在资产加工页面,请跳过“单击资产加工”的操作。
- 本页导读 (0)
- 前提条件
- 背景信息
- 操作步骤