本文按照节点离线、在线和流式的分类,分别介绍各节点类型对应能处理的数据类型以及运行引擎。
计算类节点
计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。
节点分类 | 节点说明 |
离线节点 | 更多详细信息,请参见离线类节点。 |
在线节点 | 更多详细信息,请参见在线类节点。 |
流式节点 | 更多详细信息,请参见流式类节点。 |
离线类节点
离线类节点主要处理离线类资源数据。
节点类型 | 对应的云计算资源类型 | 说明 |
MaxCompute SQL | MaxCompute | 离线节点,运行于MaxCompute类型的云计算资源之上,可通过输入SQL语句方式处理MaxCompute和Table Store类型的数据源。 |
MaxCompute MR | MaxCompute | 离线节点,当算法脚本类型为Shell时,可通过新建MaxCompute MR类型的节点任务,使用上传节点资源文件的方式处理MaxCompute和Table Store类型的数据源;也支持通过写SQL语句方式处理。 |
RDS MySQL | RDS MySQL | 离线节点,运行在RDS MySQL云计算资源之上,可通过输入SQL语句方式处理RDS MySQL类型的数据。 |
Hive | Hive | 离线节点,运行在Hive类型云计算资源之上,可通过输入算法语句方式处理Hive、Hbase和Phoenix类型的数据。 |
Hadoop | Hadoop | 离线节点,运行在Hadoop云计算资源之上,可通过输入算法语句方式处理Hive、Hbase、Phoenix和RDS MySQL类型的数据。 |
Elastic Job | Elastic Job | 离线节点,运行在Elastic Job云计算资源之上,可通过输入算法语句方式处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据源。 |
Hologres | Hologres | 离线节点,可通过输入算法语句方式对MaxCompute和Hologres类型的数据进行处理。 |
PostgreSQL | PostgreSQL | 离线节点,运行在AnalyticDB PostgreSQL类型云计算资源之上,可通过输入SQL语句方式处理PostgreSQL和MaxCompute类型的数据。 |
AnalyticDB PostgreSQL | AnalyticDB PostgreSQL | 离线节点,运行在AnalyticDB PostgreSQL类型云计算资源之上,可通过输入SQL语句方式处理AnalyticDB PostgreSQL和MaxCompute类型的数据。 |
Spark Batch | Spark On Yarn或者Spark Cluster或者Elastic Job | 离线节点,运行于Spark On Yarn或者Spark Cluster或者Elastic Job类型的云计算资源之上,可通过输入算法语句处理AnalyticDB PostgreSQL、Hive、RDS MySQL、Hive Storage和Lindorm类型的数据源。 |
Spark SQL | Spark On Yarn、Spark Cluster、Spark Thrift Server或者Elastic Job | 离线节点,运行于Spark On Yarn或者Spark Cluster或者Elastic Job类型的云计算资源之上,可通过输入SQL语句处理AnalyticDB PostgreSQL、Hive、RDS MySQL、Hive Storage和Lindorm类型的数据源。 |
Spatial Computer | Spatial Data Source | 离线节点,运行于Spatial Data Source类型的云计算资源之上,可通过拖入算子处理Spatial Data Source类型的数据源,具体操作,请参见新建空间数据节点并运行。 |
在线类节点
Elastic Service是在线服务类型的节点,在线服务指的是一类“常驻”守护型服务, 它的使用方式是通过某种远程过程调用RPC(Remote Procedure Call)来提供服务。
以下为各种在线服务的RPC方式:
HSF > TCP+Hessian
JAX-RS > HTTP
Spring Remoting > HTTP+Hessian
RPC的实现方式对于使用在线服务的用户透明,用户只需要对接Elastic-Client 即可完成服务的调用。
节点类型 | 对应的云计算资源类型 | 说明 |
Elastic Service | Elastic Service | Elastic Service运行于Elastic Service类型的云计算资源之上,可处理MaxCompute、RDS MySQL、Table Store、Hive、Kafka、Hbase、Object Storage Service、AnalyticDB PostgreSQL和DataHub等类型的数据。 |
流式类节点
流式节点,运行于流式云计算资源之上,一般支持对多种类型的数据处理。
节点类型 | 对应的云计算资源类型 | 说明 |
Blink | Blink | 流式节点,运行于Blink云计算资源之上,支持对DataHub、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB PostgreSQL和RDS MySQL类型的数据进行处理。 |
Blink DataStream | Blink | 流式节点,运行于Blink云计算资源之上,支持对DataHub、AnalyticDB、Table Store 、MaxCompute和RDS MySQL类型的数据源进行处理。 |
Flink SQL | Flink | 流式节点,运行于Flink云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。 |
Flink Vvr SQL | Flink Vvr | 流式节点,运行于Flink Vvr云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。 说明
|
Flink Vvr Stream | Flink Vvr | 流式节点,运行于Flink Vvr云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。 |
Flink Vvp SQL | Flink Vvp | 流式节点,运行于Flink Vvp云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub等类型的数据进行处理。 |
Flink Vvp Stream | Flink Vvp | 流式节点,运行于Flink Vvp云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。 |
Flink DataStream | Flink | 流式节点,运行于Flink云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB PostgreSQL和DataHub等类型的数据进行处理。 |
Spark Stream | Spark On Yarn或者Spark Cluster | 流式节点,运行于Spark On Yarn或者Spark Cluster云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub等类型的数据进行处理。 |
AnalyticDB Postgre STREAM SQL | AnalyticDB PostgreSQL | 流式节点,运行在AnalyticDB PostgreSQL类型云计算资源之上,可通过输入SQL语句方式处理AnalyticDB PostgreSQL和MaxCompute类型的数据,用于创建实物化视图。 |