数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务等;规范建模用于构建逻辑化的数据模型。

功能介绍

  • 规范建模:基于已明确的业务需求,从业务顶层开始设计,规范定义数据的标准及计算口径。同时,根据业务需求完成数据模型的设计。

    规范建模:提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑表提交后即生成对应智能黑盒调度任务,自动化生产数据。

    说明 仅绑定数据板块的项目支持规范建模功能。
  • 数据处理:通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。
  • 即席查询:即主题式查询,面向业务主题的数据查询,屏蔽了物理模型中技术特性带来的影响,基于逻辑模型从业务视角出发对外提供查询服务。
Dataphin支持BasicDev-Prod的数据开发模式:
  • Basic项目绑定了Basic数据板块,系统支持规范建模功能。Basic项目绑定了Prod数据板块,则系统不支持规范建模功能,仅支持数据处理即席查询功能。
  • Dev项目支持规范建模数据处理即席查询功能。Prod项目支持规范建模数据处理功能。

数据开发界面介绍

说明 如果您的Dataphin实例为基础研发版,则不支持规范建模
gagaga
功能区编号 描述
当前打开的项目名称,以及项目的环境类型(ProdDev)。

您可以单击项目名称后的test图标,在下拉列表中,依次选择项目分类(ProdDevBasic)及项目名称,切换项目。同时,您也可以在搜索框中输入项目名称关键词,快速搜索项目,提高了搜索的效率。

环境类型标识按钮,单击tstt图标,切换DevProd项目。Prod项目表示生产环境的项目,Dev项目表示开发环境项目。

例如,当前您访问的是Dev项目(编号②的环境类型标识为ftata图标),单击tstt图标后,切换至Prod项目(编号②的环境类型标识为gegew图标)。

说明 Basic项目没有环境类型标识按钮。
快速新建规范建模、数据处理、回收站、即席查询任务的入口。同时为您记录最近打开的任务,便于您快速查询。
刷新任务列表、新建文件和新建文件夹的按钮。
在全局搜索框中输入物理表、逻辑表、规范定义、函数或资源等名称的关键字,搜索目标对象。您可以单击研发萃取资产页签,快速搜索目标对象。

同时,您也可以单击gageg图标,在代码搜索框中,输入代码的关键字快速搜索代码。

说明
  • 系统仅支持搜索已提交开发中已发布状态的代码
  • 系统仅支持搜索版本升级后(2020年07月14日)提交过的代码。
展示了规范建模的快速入口。
展示了统一运维的流程。
展示了数据处理支持的编码任务,并提供了创建任务的入口。

实时引擎适配功能说明

功能特性 Blink Ververica Flink 开源Flink
适配离线引擎 MaxCompute MaxCompute Hadoop(CDH5、CDH6、CDP、FusionInsight)TDH
自定义数据源 支持 待支持 待支持
元表 支持 支持 支持
镜像表 支持 支持 支持
任务调试 支持 支持 不支持
测试表 支持 支持 支持
Flink SQL任务 支持 支持 支持
Flink SQL任务粗粒度配置 支持 支持 支持
Flink SQL任务细粒度配置 支持 支持 不支持
Flink SQL任务智能资源配置 支持 支持 不支持
SQL建议(实时模式) 支持 不支持 不支持
DataStream任务 支持 支持 支持
DataStream任务粗粒度配置 支持 支持 支持
DataStream任务细粒度配置 支持 不支持 不支持
DataStream任务智能资源配置 支持 支持 不支持
实时代码模板 支持 待支持 待支持
资源 支持 支持 支持
自定义函数 支持 支持 支持
监控告警 支持 不支持,需在FlinkVVP平台配置 支持
监控告警-业务延时过高 支持 不支持 不支持
监控告警-TPS超过范围 支持 不支持 支持
监控告警-失败率超过配置 支持 不支持 支持
监控告警-数据滞留超过配置 支持 不支持 不支持
监控告警-Checkpoint失败配置 支持 不支持 支持
监控告警-反压持续时间超过配置 不支持 不支持 支持
资产-元表血缘 支持 支持 支持
资产-镜像表血缘 支持 支持 支持
元表权限管理 支持 支持 支持
镜像表权限管理 支持 支持 支持
自定义实时函数权限管理 支持 支持 支持
元表数据质量 支持 支持 支持
跨租户发布 不支持 支持 不支持

实时数据源支持情况

数据源类型 数据源名称 Ververica Flink Blink 开源Flink
大数据存储 MaxCompute 支持 支持 不支持
关系型数据库 PolarDB-X(原DRDS) 支持 支持 不支持
关系型数据库 AnalyticDB for MySQL 3.0 支持 支持 不支持
消息队列 Log Service 支持 支持 不支持
NoSQL Aliyun HBase 支持 支持 不支持
大数据存储 DataHub 支持 支持 不支持
消息队列 Kafka 支持 支持 支持
NoSQL Tablestore 支持 支持 不支持
消息队列 RocketMQ 支持 支持 不支持
NoSQL Cloud HBase 不支持 不支持 不支持
消息队列 Swift 不支持 不支持 不支持
NoSQL Redis 支持 支持 不支持
消息队列 Random 不支持 不支持 不支持
NoSQL TSDB 不支持 不支持 不支持
大数据存储 Hologres 支持 支持 不支持
关系型数据库 HybridDB for MySQL 不支持 不支持 不支持
NoSQL Lindorm 不支持 不支持 不支持
消息队列 MetaQ 不支持 不支持 不支持
NoSQL Tair 不支持 不支持 不支持
关系型数据库 TDDL 不支持 不支持 不支持
消息队列 TimeTunnel 不支持 不支持 不支持
大数据存储 Elastic Search 支持 支持 支持
关系型数据库 AnalyticDB for MySQL 2.0 不支持 支持 不支持
实时自定义源 - 不支持 支持 不支持
关系型数据库 Postgres CDC 支持 不支持 支持
关系型数据库 MySQL CDC 支持 不支持 支持
关系型数据库 SQL Server CDC 不支持 不支持 不支持
关系型数据库 RDS for MySQL(DRDS) 支持 不支持 不支持
关系型数据库 DRC 不支持 不支持 不支持
关系型数据库 light.DRC 不支持 不支持 不支持
消息队列 AntQ 不支持 不支持 不支持
大数据存储 Explorer 不支持 不支持 不支持
NoSQL AntHBase 不支持 不支持 不支持
NoSQL ZDAL HBase 不支持 不支持 不支持
NoSQL GBase 不支持 不支持 不支持
关系型数据库 MySQL PB Proxy 不支持 不支持 不支持
NoSQL TBase 不支持 不支持 不支持
NoSQL Apache HBase 不支持 不支持 支持
大数据存储 Apache Hive 不支持 不支持 不支持
大数据存储 Apache HDFS 不支持 不支持 不支持

Dataphin SQL语法解析器关键字

Dataphin中语法解析器的保留字和关键字与MaxCompute的保留字和关键词一致,详细内容请参见保留字与关键字