计算设置概述

在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。

权限说明

仅支持超级管理员系统管理员配置计算引擎。

计费说明

设置实时计算引擎需购买并开启实时模块才可进行设置。

使用限制

  • 设置完成业务租户的计算引擎后,重新设置元仓计算引擎类型,可能导致业务租户的元数据加工不正确。建议修改元仓计算引擎类型前与Dataphin的运维团队进行确认。

  • 修改离线计算引擎设置,系统将同步修改计算源配置。为了保证修改效率,系统在修改过程中不会对计算源的连通性进行校验,请谨慎确认配置的正确性,配置错误可能导致任务失败。修改完成后,建议对计算源进行手动连通性测试。

  • 修改计算设置后,配置项将在30秒内应用在计算源配置上。在同步完成前,查看计算源配置可能会出现不一致的情况,执行SQL时可能会依然使用修改前的配置。

支持的计算引擎

在开始使用Dataphin前,您需要完成Dataphin实例计算引擎的设置,即配置Dataphin实例的计算集群地址。设置完成后,可基于该集群创建计算源。Dataphin支持设置的计算引擎如下:

说明

未创建离线计算源时,可变更计算设置中的计算引擎类型及计算引擎配置;已创建离线计算源仅支持修改计算设置,不可修改计算引擎类型。

若已初始化元仓租户计算引擎,仅支持选择当前元仓租户支持的计算引擎。

计算引擎

说明

相关文档

离线计算引擎

MaxCompute

阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。

设置Dataphin实例的计算引擎为MaxCompute

AnalyticDB for

PostgreSQL

专注于OLAP领域的分析型数据库,是云端托管的PB级高并发实时数据仓库,具备海量数据计算无缝伸缩能力

设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL

E-MapReduce3.x

Hadoop与E-MapReduce5.x Hadoopp

基于阿里云E-MapReduce(EMR)构建的在阿里云云服务器ECS上的开源Hadoop集群。

设置Dataphin实例的计算引擎为Hadoop

CDH5.x

Hadoop

CDH6.x

Hadoop

全球应用较广的分布式系统基础架构,核心为HDFS和MapReduce,提供了海量数据存储与计算。

全球应用较广的分布式系统基础架构,核心为HDFS和MapReduce,提供了海量数据存储与计算。

Cloudera Data Platform 7.x

CDP是Cloudera与Hortonworks合并之后集合了Cloudera的旗舰产品CDH和Hortonworks旗舰产品HDP之精华。

华为 FusionInsight 8.x

Hadoop

华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。

亚信DP5.3

Hadoop

基于开源生态,依托电信级技术能力构建的大数据生产运营一体化支撑平台。

星环ArgoDB

Transwarp ArgoDB是星环科技的分布式分析性数据库。

说明

星环ArgoDB不支持智能研发版。

设置Dataphin实例的计算引擎为TDH或ArgoDB

星环TDH 6.x

Transwarp Data Hub(TDH) 是星环大数据平台

StarRocks

StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。

使用StarRocks作为元仓计算引擎进行元仓初始化

Lindorm(计算引擎

Lindorm是阿里云的一个云原生多模数据库产品,其计算引擎模式可以支持离线大数据应用。

设置Dataphin的计算引擎为Lindorm(计算引擎)

实时计算引擎

阿里云实时计算Flink

阿里云新一代计算引擎Flink,支持实时计算,具有高吞吐低延迟等优势,同时也支持离线计算与调度。

租户开启实时研发模块后,系统将根据离线计算引擎选择进行推荐设置,您可以自行修改。开启实时研发,请参见租户设置

Apache Flink

Apache Flink是一个分布式处理引擎,用于对无界和有界数据流进行有状态计算。

Fusioninsight Flink

FusionInsight Flink 是一种基于Apache Flink的流式处理引擎,可以实现高速数据流的实时计算和分析。

Blink独享版

Blink是阿里云实时计算引擎。

重要

该版本在公共云已停售,请谨慎选择。

计算设置入口

在Dataphin首页,单击顶部菜单栏中的管理中心->系统设置。默认进入计算设置页面。

image