文档

节点类型说明

更新时间:

本文按照节点离线、在线和流式的分类,分别介绍各节点类型对应能处理的数据类型以及运行引擎。

计算类节点

计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。

节点分类

节点说明

离线节点

更多详细信息,请参见离线类节点

在线节点

更多详细信息,请参见在线类节点

流式节点

更多详细信息,请参见流式类节点

离线类节点

离线类节点主要处理离线类资源数据。

节点类型

对应的云计算资源类型

说明

MaxCompute SQL

MaxCompute

离线节点,运行于MaxCompute类型的云计算资源之上,可通过输入SQL语句方式处理MaxCompute和Table Store类型的数据源。

MaxCompute MR

MaxCompute

离线节点,当算法脚本类型为Shell时,可通过新建MaxCompute MR类型的节点任务,使用上传节点资源文件的方式处理MaxCompute和Table Store类型的数据源;也支持通过写SQL语句方式处理。

RDS MySQL

RDS MySQL

离线节点,运行在RDS MySQL云计算资源之上,可通过输入SQL语句方式处理RDS MySQL类型的数据。

Hive

Hive

离线节点,运行在Hive类型云计算资源之上,可通过输入算法语句方式处理Hive、Hbase和Phoenix类型的数据。

Hadoop

Hadoop

离线节点,运行在Hadoop云计算资源之上,可通过输入算法语句方式处理Hive、Hbase、Phoenix和RDS MySQL类型的数据。

Elastic Job

Elastic Job

离线节点,运行在Elastic Job云计算资源之上,可通过输入算法语句方式处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据源。

Hologres

Hologres

离线节点,可通过输入算法语句方式对MaxCompute和Hologres类型的数据进行处理。

PostgreSQL

PostgreSQL

离线节点,运行在AnalyticDB PostgreSQL类型云计算资源之上,可通过输入SQL语句方式处理PostgreSQL和MaxCompute类型的数据。

AnalyticDB PostgreSQL

AnalyticDB PostgreSQL

离线节点,运行在AnalyticDB PostgreSQL类型云计算资源之上,可通过输入SQL语句方式处理AnalyticDB PostgreSQL和MaxCompute类型的数据。

Spark Batch

Spark On Yarn或者Spark Cluster或者Elastic Job

离线节点,运行于Spark On Yarn或者Spark Cluster或者Elastic Job类型的云计算资源之上,可通过输入算法语句处理AnalyticDB PostgreSQL、Hive、RDS MySQL、Hive Storage和Lindorm类型的数据源。

Spark SQL

Spark On Yarn、Spark Cluster、Spark Thrift Server或者Elastic Job

离线节点,运行于Spark On Yarn或者Spark Cluster或者Elastic Job类型的云计算资源之上,可通过输入SQL语句处理AnalyticDB PostgreSQL、Hive、RDS MySQL、Hive Storage和Lindorm类型的数据源。

Spatial Computer

Spatial Data Source

离线节点,运行于Spatial Data Source类型的云计算资源之上,可通过拖入算子处理Spatial Data Source类型的数据源,具体操作,请参见新建空间数据节点并运行

在线类节点

Elastic Service是在线服务类型的节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务。

以下为各种在线服务的RPC方式:

  • HSF > TCP+Hessian

  • JAX-RS > HTTP

  • Spring Remoting > HTTP+Hessian

RPC的实现方式对于使用在线服务的用户透明,用户只需要对接Elastic-Client 即可完成服务的调用。

节点类型

对应的云计算资源类型

说明

Elastic Service

Elastic Service

Elastic Service运行于Elastic Service类型的云计算资源之上,可处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据。

流式类节点

流式节点,运行于流式云计算资源之上,一般支持对多种类型的数据处理。

节点类型

对应的云计算资源类型

说明

Blink

Blink

流式节点,运行于Blink云计算资源之上,支持对DataHub、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和RDS MySQL类型的数据进行处理。

Blink DataStream

Blink

流式节点,运行于Blink云计算资源之上,支持对DataHub、AnalyticDB、Table Store 、MaxCompute和RDS MySQL类型的数据源进行处理。

Flink SQL

Flink

流式节点,运行于Flink云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。

Flink Vvr SQL

Flink Vvr

流式节点,运行于Flink Vvr云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。

说明
  • Flink Vvr SQL是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,适用于在K8s部署运行的Flink节点。

  • Flink Vvr SQL节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的节点。

Flink Vvr Stream

Flink Vvr

流式节点,运行于Flink Vvr云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。

Flink Vvp SQL

Flink Vvp

流式节点,运行于Flink Vvp云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub等类型的数据进行处理。

Flink Vvp Stream

Flink Vvp

流式节点,运行于Flink Vvp云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。

Flink DataStream

Flink

流式节点,运行于Flink云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB PostgreSQL和DataHub等类型的数据进行处理。

Spark Stream

Spark On Yarn或者Spark Cluster

流式节点,运行于Spark On Yarn或者Spark Cluster云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub等类型的数据进行处理。

AnalyticDB Postgre STREAM SQL

AnalyticDB PostgreSQL

流式节点,运行在AnalyticDB PostgreSQL类型云计算资源之上,可通过输入SQL语句方式处理AnalyticDB PostgreSQL和MaxCompute类型的数据,用于创建实物化视图。

  • 本页导读 (0)
文档反馈