数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务等;规范建模用于构建逻辑化的数据模型。
功能介绍
- 规范建模:基于已明确的业务需求,从业务顶层开始设计,规范定义数据的标准及计算口径。同时,根据业务需求完成数据模型的设计。
规范建模:提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑表提交后即生成对应智能黑盒调度任务,自动化生产数据。
说明 仅绑定数据板块的项目支持规范建模功能。 - 数据处理:通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。
- 即席查询:即主题式查询,面向业务主题的数据查询,屏蔽了物理模型中技术特性带来的影响,基于逻辑模型从业务视角出发对外提供查询服务。
Dataphin支持Basic和Dev-Prod的数据开发模式:
- Basic项目绑定了Basic数据板块,系统支持规范建模功能。Basic项目绑定了Prod数据板块,则系统不支持规范建模功能,仅支持数据处理和即席查询功能。
- Dev项目支持规范建模、数据处理和即席查询功能。Prod项目支持规范建模和数据处理功能。
数据开发界面介绍
说明 如果您的Dataphin实例为基础研发版,则不支持规范建模。

功能区编号 | 描述 |
---|---|
① | 当前打开的项目名称,以及项目的环境类型(Prod或Dev)。
您可以单击项目名称后的 |
② | 环境类型标识按钮,单击![]() 例如,当前您访问的是Dev项目(编号②的环境类型标识为 说明 Basic项目没有环境类型标识按钮。
|
③ | 快速新建规范建模、数据处理、回收站、即席查询任务的入口。同时为您记录最近打开的任务,便于您快速查询。 |
④ | 刷新任务列表、新建文件和新建文件夹的按钮。 |
⑤ | 在全局搜索框中输入物理表、逻辑表、规范定义、函数或资源等名称的关键字,搜索目标对象。您可以单击研发、萃取和资产页签,快速搜索目标对象。
同时,您也可以单击 说明
|
⑥ | 展示了规范建模的快速入口。 |
⑦ | 展示了统一运维的流程。 |
⑧ | 展示了数据处理支持的编码任务,并提供了创建任务的入口。 |
实时引擎适配功能说明
功能特性 | Blink | Ververica Flink | 开源Flink |
---|---|---|---|
适配离线引擎 | MaxCompute | MaxCompute | Hadoop(CDH5、CDH6、CDP、FusionInsight)TDH |
自定义数据源 | 支持 | 待支持 | 待支持 |
元表 | 支持 | 支持 | 支持 |
镜像表 | 支持 | 支持 | 支持 |
任务调试 | 支持 | 支持 | 不支持 |
测试表 | 支持 | 支持 | 支持 |
Flink SQL任务 | 支持 | 支持 | 支持 |
Flink SQL任务粗粒度配置 | 支持 | 支持 | 支持 |
Flink SQL任务细粒度配置 | 支持 | 支持 | 不支持 |
Flink SQL任务智能资源配置 | 支持 | 支持 | 不支持 |
SQL建议(实时模式) | 支持 | 不支持 | 不支持 |
DataStream任务 | 支持 | 支持 | 支持 |
DataStream任务粗粒度配置 | 支持 | 支持 | 支持 |
DataStream任务细粒度配置 | 支持 | 不支持 | 不支持 |
DataStream任务智能资源配置 | 支持 | 支持 | 不支持 |
实时代码模板 | 支持 | 待支持 | 待支持 |
资源 | 支持 | 支持 | 支持 |
自定义函数 | 支持 | 支持 | 支持 |
监控告警 | 支持 | 不支持,需在FlinkVVP平台配置 | 支持 |
监控告警-业务延时过高 | 支持 | 不支持 | 不支持 |
监控告警-TPS超过范围 | 支持 | 不支持 | 支持 |
监控告警-失败率超过配置 | 支持 | 不支持 | 支持 |
监控告警-数据滞留超过配置 | 支持 | 不支持 | 不支持 |
监控告警-Checkpoint失败配置 | 支持 | 不支持 | 支持 |
监控告警-反压持续时间超过配置 | 不支持 | 不支持 | 支持 |
资产-元表血缘 | 支持 | 支持 | 支持 |
资产-镜像表血缘 | 支持 | 支持 | 支持 |
元表权限管理 | 支持 | 支持 | 支持 |
镜像表权限管理 | 支持 | 支持 | 支持 |
自定义实时函数权限管理 | 支持 | 支持 | 支持 |
元表数据质量 | 支持 | 支持 | 支持 |
跨租户发布 | 不支持 | 支持 | 不支持 |
实时数据源支持情况
数据源类型 | 数据源名称 | Ververica Flink | Blink | 开源Flink |
---|---|---|---|---|
大数据存储 | MaxCompute | 支持 | 支持 | 不支持 |
关系型数据库 | PolarDB-X(原DRDS) | 支持 | 支持 | 不支持 |
关系型数据库 | AnalyticDB for MySQL 3.0 | 支持 | 支持 | 不支持 |
消息队列 | Log Service | 支持 | 支持 | 不支持 |
NoSQL | Aliyun HBase | 支持 | 支持 | 不支持 |
大数据存储 | DataHub | 支持 | 支持 | 不支持 |
消息队列 | Kafka | 支持 | 支持 | 支持 |
NoSQL | Tablestore | 支持 | 支持 | 不支持 |
消息队列 | RocketMQ | 支持 | 支持 | 不支持 |
NoSQL | Cloud HBase | 不支持 | 不支持 | 不支持 |
消息队列 | Swift | 不支持 | 不支持 | 不支持 |
NoSQL | Redis | 支持 | 支持 | 不支持 |
消息队列 | Random | 不支持 | 不支持 | 不支持 |
NoSQL | TSDB | 不支持 | 不支持 | 不支持 |
大数据存储 | Hologres | 支持 | 支持 | 不支持 |
关系型数据库 | HybridDB for MySQL | 不支持 | 不支持 | 不支持 |
NoSQL | Lindorm | 不支持 | 不支持 | 不支持 |
消息队列 | MetaQ | 不支持 | 不支持 | 不支持 |
NoSQL | Tair | 不支持 | 不支持 | 不支持 |
关系型数据库 | TDDL | 不支持 | 不支持 | 不支持 |
消息队列 | TimeTunnel | 不支持 | 不支持 | 不支持 |
大数据存储 | Elastic Search | 支持 | 支持 | 支持 |
关系型数据库 | AnalyticDB for MySQL 2.0 | 不支持 | 支持 | 不支持 |
实时自定义源 | - | 不支持 | 支持 | 不支持 |
关系型数据库 | Postgres CDC | 支持 | 不支持 | 支持 |
关系型数据库 | MySQL CDC | 支持 | 不支持 | 支持 |
关系型数据库 | SQL Server CDC | 不支持 | 不支持 | 不支持 |
关系型数据库 | RDS for MySQL(DRDS) | 支持 | 不支持 | 不支持 |
关系型数据库 | DRC | 不支持 | 不支持 | 不支持 |
关系型数据库 | light.DRC | 不支持 | 不支持 | 不支持 |
消息队列 | AntQ | 不支持 | 不支持 | 不支持 |
大数据存储 | Explorer | 不支持 | 不支持 | 不支持 |
NoSQL | AntHBase | 不支持 | 不支持 | 不支持 |
NoSQL | ZDAL HBase | 不支持 | 不支持 | 不支持 |
NoSQL | GBase | 不支持 | 不支持 | 不支持 |
关系型数据库 | MySQL PB Proxy | 不支持 | 不支持 | 不支持 |
NoSQL | TBase | 不支持 | 不支持 | 不支持 |
NoSQL | Apache HBase | 不支持 | 不支持 | 支持 |
大数据存储 | Apache Hive | 不支持 | 不支持 | 不支持 |
大数据存储 | Apache HDFS | 不支持 | 不支持 | 不支持 |
Dataphin SQL语法解析器关键字
Dataphin中语法解析器的保留字和关键字与MaxCompute的保留字和关键词一致,详细内容请参见保留字与关键字。