数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、 Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。
前提条件
若需进行实时开发,需已购买实时研发增值服务。详情请参见开通Dataphin。
功能介绍
规范建模:基于已明确的业务需求,从业务顶层开始设计,规范定义数据的标准及计算口径完成数据模型的设计。同时您提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,这样就避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑表提交后即生成对应智能黑盒调度任务,自动化生产数据。
仅绑定数据板块的项目支持规范建模功能。
数据处理:通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。
即席查询:即主题式查询,面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响,基于逻辑模型从业务视角出发对外提供查询服务。
双开发模式:Dataphin支持Basic和Dev-Prod的数据开发模式:
Basic项目绑定了Basic数据板块,系统支持规范建模功能。Basic项目绑定了Prod数据板块,则系统不支持规范建模功能,仅支持数据处理和即席查询功能。
Dev项目支持规范建模、数据处理和即席查询功能。Prod项目支持规范建模和数据处理功能。
数据开发入口
在Dataphin首页,单击顶部菜单栏研发。
在数据开发页面,左侧导航栏为您展示数据开发各功能模块的入口按钮。
数据开发界面介绍
如果您的Dataphin实例为基础研发版,则不支持规范建模。

功能区编号 | 描述 |
① | 当前打开的项目名称,以及项目的环境类型(Prod或Dev)。您可以单击项目名称后的 |
② | 环境类型标识按钮,单击 例如,当前您访问的是Dev项目(编号②的环境类型标识为 说明 Basic项目没有环境类型标识按钮。 |
③ | 快速新建规范建模、数据处理、回收站、即席查询任务的入口。同时为您记录最近打开的任务,便于您快速查询。 |
④ | 刷新任务列表、新建文件和新建文件夹的按钮。 |
⑤ | 在全局搜索框中输入物理表、逻辑表、规范定义、函数或资源等名称的关键字,搜索目标对象。您可以单击研发、萃取和资产页签,快速搜索目标对象。 同时,您也可以单击 说明
|
⑥ | 展示了规范建模的快速入口。 |
⑦ | 展示了统一运维的流程。 |
⑧ | 展示了数据处理支持的编码任务,并提供了创建任务的入口。 |
实时引擎适配功能说明
功能特性 | Blink | Ververica Flink |
适配离线引擎 | MaxCompute | MaxCompute |
自定义数据源 | 支持 | 待支持 |
元表 | 支持 | 支持 |
镜像表 | 支持 | 支持 |
任务调试 | 支持 | 支持 |
测试表 | 支持 | 支持 |
Flink SQL任务 | 支持 | 支持 |
Flink SQL任务粗粒度配置 | 支持 | 支持 |
Flink SQL任务细粒度配置 | 支持 | 支持 |
Flink SQL任务智能资源配置 | 支持 | 支持 |
SQL建议(实时模式) | 支持 | 不支持 |
DataStream任务 | 支持 | 支持 |
DataStream任务粗粒度配置 | 支持 | 支持 |
DataStream任务细粒度配置 | 支持 | 支持 |
DataStream任务智能资源配置 | 支持 | 支持 |
实时代码模板 | 支持 | 待支持 |
资源 | 支持 | 支持 |
自定义函数 | 支持 | 支持 |
监控告警 | 支持 | 不支持,需在FlinkVVP平台配置 |
监控告警-业务延时过高 | 支持 | 不支持 |
监控告警-TPS超过范围 | 支持 | 不支持 |
监控告警-失败率超过配置 | 支持 | 不支持 |
监控告警-数据滞留超过配置 | 支持 | 不支持 |
监控告警-Checkpoint失败配置 | 支持 | 不支持 |
监控告警-反压持续时间超过配置 | 不支持 | 不支持 |
资产-元表血缘 | 支持 | 支持 |
资产-镜像表血缘 | 支持 | 支持 |
元表权限管理 | 支持 | 支持 |
镜像表权限管理 | 支持 | 支持 |
自定义实时函数权限管理 | 支持 | 支持 |
元表数据质量 | 支持 | 支持 |
跨租户发布 | 不支持 | 支持 |
Dataphin SQL语法解析器关键字
Dataphin中语法解析器的保留字和关键字与MaxCompute的保留字和关键词一致,详细内容请参见保留字与关键字。