在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。
权限说明
仅支持超级管理员或系统管理员配置计算引擎。
计费说明
设置实时计算引擎需购买并开启实时模块才可进行设置。
使用限制
设置完成业务租户的计算引擎后,重新设置元仓计算引擎类型,可能导致业务租户的元数据加工不正确。建议修改元仓计算引擎类型前与Dataphin的运维团队进行确认。
修改离线计算引擎设置,系统将同步修改计算源配置。为了保证修改效率,系统在修改过程中不会对计算源的连通性进行校验,请谨慎确认配置的正确性,配置错误可能导致任务失败。修改完成后,建议对计算源进行手动连通性测试。
修改计算设置后,配置项将在30秒内应用在计算源配置上。在同步完成前,查看计算源配置可能会出现不一致的情况,执行SQL时可能会依然使用修改前的配置。
支持的计算引擎
在开始使用Dataphin前,您需要完成Dataphin实例计算引擎的设置,即配置Dataphin实例的计算集群地址。设置完成后,可基于该集群创建计算源。Dataphin支持设置的计算引擎如下:
未创建离线计算源时,可变更计算设置中的计算引擎类型及计算引擎配置;已创建离线计算源仅支持修改计算设置,不可修改计算引擎类型。
若已初始化元仓租户计算引擎,仅支持选择当前元仓租户支持的计算引擎。
计算引擎 | 说明 | 相关文档 |
离线计算引擎 | ||
MaxCompute | 阿里原生的大数据计算平台,承载海量数据存储与计算能力,高效率与高稳定性。 | |
AnalyticDB for PostgreSQL | 专注于OLAP领域的分析型数据库,是云端托管的PB级高并发实时数据仓库,具备海量数据计算无缝伸缩能力 | |
E-MapReduce3.x Hadoop与E-MapReduce5.x Hadoopp | 基于阿里云E-MapReduce(EMR)构建的在阿里云云服务器ECS上的开源Hadoop集群。 | |
CDH5.x Hadoop CDH6.x Hadoop | 全球应用较广的分布式系统基础架构,核心为HDFS和MapReduce,提供了海量数据存储与计算。 | |
全球应用较广的分布式系统基础架构,核心为HDFS和MapReduce,提供了海量数据存储与计算。 | ||
Cloudera Data Platform 7.x | CDP是Cloudera与Hortonworks合并之后集合了Cloudera的旗舰产品CDH和Hortonworks旗舰产品HDP之精华。 | |
华为 FusionInsight 8.x Hadoop | 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。 | |
亚信DP5.3 Hadoop | 基于开源生态,依托电信级技术能力构建的大数据生产运营一体化支撑平台。 | |
星环ArgoDB | Transwarp ArgoDB是星环科技的分布式分析性数据库。 说明 星环ArgoDB不支持智能研发版。 | |
星环TDH 6.x | Transwarp Data Hub(TDH) 是星环大数据平台 | |
StarRocks | StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 | |
Lindorm(计算引擎) | Lindorm是阿里云的一个云原生多模数据库产品,其计算引擎模式可以支持离线大数据应用。 | |
实时计算引擎 | ||
阿里云实时计算Flink | 阿里云新一代计算引擎Flink,支持实时计算,具有高吞吐低延迟等优势,同时也支持离线计算与调度。 | 租户开启实时研发模块后,系统将根据离线计算引擎选择进行推荐设置,您可以自行修改。开启实时研发,请参见租户设置。 |
Apache Flink | Apache Flink是一个分布式处理引擎,用于对无界和有界数据流进行有状态计算。 | |
Fusioninsight Flink | FusionInsight Flink 是一种基于Apache Flink的流式处理引擎,可以实现高速数据流的实时计算和分析。 | |
Blink独享版 | Blink是阿里云实时计算引擎。 重要 该版本在公共云已停售,请谨慎选择。 |
计算设置入口
在Dataphin首页,单击顶部菜单栏中的管理中心->系统设置。默认进入计算设置页面。