文档

计算设置概述

更新时间:

在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。

权限说明

仅支持超级管理员系统管理员配置计算引擎。

计费说明

设置实时计算引擎需购买并开启实时模块才可进行设置。具体操作,请参见租户设置

使用限制

  • 设置完成业务租户的计算引擎后,重新设置元仓计算引擎类型,可能导致业务租户的元数据加工不正确。建议修改元仓计算引擎类型前与Dataphin的运维团队进行确认。

  • 修改离线计算引擎设置,系统将同步修改计算源配置。为了保证修改效率,系统在修改过程中不会对计算源的连通性进行校验,请谨慎确认配置的正确性,配置错误可能导致任务失败。修改完成后,建议对计算源进行手动连通性测试。

  • 修改计算设置后,配置项将在30秒内应用在计算源配置上。在同步完成前,查看计算源配置可能会出现不一致的情况,执行SQL时可能会依然使用修改前的配置。

支持的计算引擎

在开始使用Dataphin前,您需要完成Dataphin实例计算引擎的设置,即配置Dataphin实例的计算集群地址。设置完成后,可基于该集群创建计算源。Dataphin支持设置的计算引擎如下:

说明

未创建离线计算源时,可变更计算设置中的计算引擎类型及计算引擎配置;已创建离线计算源仅支持修改计算设置,不可修改计算引擎类型。

若已初始化元仓租户计算引擎,仅支持选择当前元仓租户支持的计算引擎。

计算引擎

说明

操作文档

离线计算引擎

MaxCompute

阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。

设置Dataphin实例的计算引擎为MaxCompute

AnalyticDB for

PostgreSQL

专注于OLAP领域的分析型数据库,是云端托管的PB级高并发实时数据仓库,具备海量数据计算无缝伸缩能力

设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL

E-MapReduce3.x

Hadoop与E-MapReduce5.x Hadoopp

基于阿里云E-MapReduce(EMR)构建的在阿里云云服务器ECS上的开源Hadoop集群。

设置Dataphin实例的计算引擎为Hadoop

CDH5.x

Hadoop

CDH6.x

Hadoop

全球应用较广的分布式系统基础架构,核心为HDFS和MapReduce,提供了海量数据存储与计算。

全球应用较广的分布式系统基础架构,核心为HDFS和MapReduce,提供了海量数据存储与计算。

Cloudera Data Platform 7.x

CDP是Cloudera与Hortonworks合并之后集合了Cloudera的旗舰产品CDH和Hortonworks旗舰产品HDP之精华。

华为 FusionInsight 8.x

Hadoop

华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。

亚信DP5.3

Hadoop

基于开源生态,依托电信级技术能力构建的大数据生产运营一体化支撑平台。

星环ArgoDB

Transwarp ArgoDB是星环科技的分布式分析性数据库。

说明

星环ArgoDB不支持智能研发版。

设置Dataphin实例的计算引擎为TDH或ArgoDB

星环TDH 6.x

Transwarp Data Hub(TDH) 是星环大数据平台

实时计算引擎

阿里云实时计算Flink

阿里云新一代计算引擎Flink,支持实时计算,具有高吞吐低延迟等优势,同时也支持离线计算与调度。

租户开启实时研发模块后,系统将根据离线计算引擎选择进行推荐设置,您可以自行修改。开启实时研发,请参见租户设置

Apache Flink

Apache Flink是一个分布式处理引擎,用于对无界和有界数据流进行有状态计算。

Fusioninsight Flink

Fusioninsight Flink 是一种基于Apache Flink的流式处理引擎,可以实现高速数据流的实时计算和分析。

Blink独享版

Blink是阿里云实时计算引擎。

重要

该版本在公共云已停售,请谨慎选择。

计算设置入口

  1. 在Dataphin首页,单击顶部菜单栏中的管理中心,进入管理中心页面。

  2. 管理中心页面,按照下图操作进入计算设置页面。

    image.png

  • 本页导读 (0)
文档反馈