本文为您介绍MaxCompute计算引擎下提供的元数据共享模型详情。
概述
为了支持更灵活的数据分析及二次开发，需要使用Dataphin的元数据信息。Dataphin以元数据共享模型的方式将系统元数据对外开放。元数据共享模型的使用方式请参见元数据仓库共享模型概述。
使用说明
共享模型表每个分区存储全量数据，建议直接使用最新分区的数据，避免因为历史分区数据不完整影响下游业务（历史分区数据在大版本升级场景下可能会有数据不完整的情况）。
版本变动详情
版本 | 变动内容 |
v4.3.1 |
|
v4.3 |
|
v4.2 |
|
v4.1 |
|
v4.0 | 新增质量规则打分表fct_dataphin_dp_quality_rule_score_di。 |
v3.14 |
|
v3.13 |
|
v3.12 |
|
v3.11 |
|
v3.10 |
|
v3.9 |
|
v3.8 |
|
v3.7 |
|
v3.5.4 |
|
v3.3.1-hf3 v2.9.7-hf10 | 新增dim_dataphin_service_api_param数据服务API参数表。 |
v3.2.4 | dim_dataphin_physical_index和dim_dataphin_index_catalog表废弃，原因是上挂物理指标在3.2.4版本后合并至dim_dataphin_derived_index表。 |
v3.2.4 | 所有table_id，column_id相关字段全部废弃，置空。 |
v2.9.7 | 添加建模/物理运维中关于status字段的详细注释信息。 |
v2.9.5.3 | 新建文档。 |
元数据仓库目录
分类 | 二级分类 | 表名称 | 表中文名称 | 对应通信表 |
规范建模 | 规划 | 业务板块表 | ||
数据域表 | ||||
统计周期表 | ||||
建模 | 维度定义表 | |||
业务过程表 | ||||
原子指标表 | ||||
业务限定表 | ||||
派生指标表 | ||||
逻辑表元数据 | ||||
逻辑表字段元数据 | ||||
研发与运维 | 物理运维 | 物理调度节点 | ||
datax类型-物理调度节点 | ||||
dlink类型-物理调度节点 | ||||
物理节点调度实例运行事实 | ||||
物理调度节点依赖关系表 | ||||
物理调度实例依赖关系表 | ||||
运维监控配置表 | ||||
集成任务节点运行实例统计信息表 | ||||
告警事件表 | ||||
警推送记录表 | ||||
逻辑运维 | 逻辑表调度节点 | |||
逻辑表调度实例 | ||||
引擎 | MaxCompute作业表 | |||
OS | 通过SQL访问表事务型事实表（粒度：执行任务ID + 输入表ID + 输入环境 + 输出表ID + 输出环境） | |||
研发 | 提交记录表 | |||
发布记录表 | ||||
权限 | 权限记录表 | |||
基线 | 基线监控对象表 | 无 | ||
公共 | 用户 | 租户用户表 | ||
项目用户表 | ||||
用户绑定关系表 | ||||
项目 | 项目空间表 | |||
项目空间与计算引擎绑定关系表 | ||||
数据源 | 数据源表 | |||
数据源配置表 | ||||
数据资产 | 物理表 | 物理表 | ||
物理表字段 | ||||
物理表分区 | ||||
数据服务 | 已上线数据服务单元表 | |||
已上线数据服务API表 | ||||
已上线直连数据源服务API表 | ||||
APP表 | ||||
已上线服务单元字段表 | ||||
APP与API对应关系表 | ||||
数据服务API调用分钟级别汇总表 | ||||
已上线API的参数表 | ||||
血缘 | 粒度血缘关系（节点+输入表+输入字段+输出表+输出字段 ） | |||
粒度血缘关系（节点+输入表+输出表） | ||||
粒度血缘关系（输入表+输出表） | ||||
安全 | 安全识别记录表 | |||
安全数据分类表 | ||||
安全数据分级表 | ||||
安全识别规则表 | ||||
安全脱敏规则表 | ||||
安全脱敏规则白名单表 | ||||
质量 | 质量监控对象表 | |||
质量规则表 | ||||
质量规则任务表 | ||||
质量监控对象负责人表 | ||||
质量监控对象告警配置表 | ||||
质量规则打分表 | ||||
质量调度配置表 | ||||
标准 | 标准表 | |||
标准落标规则表 | ||||
标准落标规则与资产映射表 | ||||
标准与资产映射结果表 | ||||
标准码表表 | ||||
实时 | 实时元表元数据 | 无 | ||
实时元表字段元数据 | ||||
标签 | 标签市场表 | |||
标签血缘表 | ||||
资产目录 | 上架资产信息表 | 无 | ||
资产目录专题表 |
通信表目录
通信表是整个模块中所有表的最后一个表。如果通信表产出，则模块中的所有表当天的数据都已产出完成。
表名称 | 表中文名称 |
基础共享模型通信表 | |
数据安全模块共享模型通信表 | |
数据服务模块共享模型通信表 | |
数据质量模块共享模型通信表 | |
数据标准模块共享模型通信表 | |
标签模块共享模型通信表 |
规范建模
规划
dim_dataphin_biz_unit
create table if not exists dim_dataphin_biz_unit(
tenant_id bigint comment '租户id',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
biz_unit_name_cn string comment '业务板块中文名称',
biz_unit_desc string comment '业务板块描述',
is_basic_biz string comment '是否bisic板块,Y/N',
biz_unit_spec string comment '板块类别,datadev:数据研发,distill:数据萃取',
env string comment '板块环境,PROD:生产环境',
owner_id string comment '业务板块所有者ID',
owner_name string comment '业务板块所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '业务板块表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_data_domain
create table if not exists dim_dataphin_data_domain(
tenant_id bigint comment '租户id',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域名称',
data_domain_abbreviation string comment '数据域缩写',
data_domain_name_cn string comment '数据域中文名称',
data_domain_desc string comment '数据域描述',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
data_domain_level bigint comment '数据域层级',
parent_data_domain_id bigint comment '父数据域ID',
parent_data_domain_name string comment '父数据域名称',
parent_data_domain_level1_abbreviation string comment '父级数据域缩写',
parent_data_domain_level1_name_cn string comment '父级数据域中文名称',
data_domain_level1_id bigint comment '一级数据域ID',
data_domain_level1_name string comment '一级数据域名称',
data_domain_level1_abbreviation string comment '一级数据域缩写',
data_domain_level1_name_cn string comment '一级数据域中文名称',
data_domain_level2_id bigint comment '二级数据域ID',
data_domain_level2_name string comment '二级数据域名称',
data_domain_level2_abbreviation string comment '二级数据域缩写',
data_domain_level2_name_cn string comment '二级数据域中文名称',
data_domain_level3_id bigint comment '三级数据域ID',
data_domain_level3_name string comment '三级数据域名称',
data_domain_level3_abbreviation string comment '三级数据域缩写',
data_domain_level3_name_cn string comment '三级数据域中文名称',
data_domain_level4_id bigint comment '四级数据域ID',
data_domain_level4_name string comment '四级数据域名称',
data_domain_level4_abbreviation string comment '四级数据域缩写',
data_domain_level4_name_cn string comment '四级数据域中文名称',
data_domain_level5_id bigint comment '五级数据域ID',
data_domain_level5_name string comment '五级数据域名称',
data_domain_level5_abbreviation string comment '五级数据域缩写',
data_domain_level5_name_cn string comment '五级数据域中文名称'
) comment '数据域表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_time_period
create table if not exists dim_dataphin_time_period(
tenant_id bigint comment '租户id',
time_period_id bigint comment '统计周期ID',
time_period_name string comment '统计周期名称',
time_period_name_cn string comment '统计周期中文名称',
time_period_desc string comment '统计周期描述',
period_start string comment '周期开始日期',
period_end string comment '周期结束日期',
--env string comment '环境,PROD:生产环境',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '统计周期表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;建模
dim_dataphin_dimension
create table if not exists dim_dataphin_dimension(
tenant_id bigint comment '租户id',
dimension_id bigint comment '维度ID',
dimension_name string comment '维度名称',
dimension_name_cn string comment '维度中文名',
dimension_desc string comment '维度描述',
dimension_type string comment '维度类型 NORMAL/ENUM/VIRTUAL/LEVEL',
dimension_pk string comment '维度主键',
dimension_pk_cn string comment '维度主键中文名',
dimension_pk_datatype string comment '主键数据类型',
dimension_pk_logic string comment '维度主键逻辑',
dimension_status string comment '状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
parent_dimension_id string comment '父维度ID',
parent_dimension_name string comment '父维度名称',
parent_dimension_name_cn string comment '父维度中文名',
dimension_lifecycle string comment '生命周期',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域名称',
data_domain_abbreviation string comment '数据域简称',
data_domain_name_cn string comment '数据域中文名',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
env string comment '环境,DEV:开发环境,PROD:生产环境',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '维度表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_biz_process
create table if not exists dim_dataphin_biz_process(
tenant_id bigint comment '租户id',
biz_process_id bigint comment '业务过程ID',
biz_process_name string comment '业务过程名称',
biz_process_name_cn string comment '业务过程中文名',
biz_process_desc string comment '业务过程描述',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域名称',
data_domain_abbreviation string comment '数据域简称',
data_domain_name_cn string comment '数据域中文名',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
env string comment '环境,DEV:开发环境,PROD:生产环境',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '业务过程表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_atom_index
说明
针对衍生原子指标，计算逻辑atom_index_logic中涉及到的原子指标，以“@原子指标ID”的形式表示，如果需要还原初始计算逻辑，可以通过原子指标ID关联查询。
create table if not exists dim_dataphin_atom_index(
tenant_id bigint comment '租户id',
atom_index_id bigint comment '原子指标ID',
atom_index_name string comment '原子指标名称',
atom_index_name_cn string comment '原子指标中文名',
atom_index_desc string comment '原子指标描述',
atom_index_type string comment '原子指标类型,NORMAL:普通原子指标,COMPOSITE:衍生原子指标',
atom_index_data_type string comment '原子指标数据类型',
atom_index_logic string comment '原子指标计算逻辑',
atom_index_status string comment '原子指标状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
is_acc_sum string comment '是否可累加,Y/N',
source_path_attribute string comment '主要来源字段',
time_col_attribute_id bigint comment '统计周期字段ID',
time_col_attribute_name string comment '统计周期字段名称',
time_col_format string comment '统计周期格式',
is_comp_atom_index string comment '是否衍生原子指标,Y/N',
comp_atom_index_ids string comment '原子指标ID串，以分号分隔',
comp_atom_index_names string comment '原子指标名称串，以分号分隔',
model_id bigint comment '逻辑表ID',
model_type string comment '逻辑表类型,FCT:事实逻辑表,DIM:维度逻辑表',
model_name string comment '逻辑表名称',
model_name_cn string comment '逻辑表中文名',
biz_process_id bigint comment '业务过程ID',
biz_process_name string comment '业务过程名称',
biz_process_name_cn string comment '业务过程中文名',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域名称',
data_domain_abbreviation string comment '数据域简称',
data_domain_name_cn string comment '数据域中文名',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
env string comment '环境,DEV:开发环境,PROD:生产环境',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
period_type string comment '统计粒度,DAY:天,HOUR:小时,MINUTE:分钟,STREAMING:实时'
) comment '原子指标表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_adjunct_word
create table if not exists dim_dataphin_adjunct_word(
tenant_id bigint comment '租户id',
adjunct_word_id bigint comment '业务限定ID',
adjunct_word_name string comment '业务限定名称',
adjunct_word_name_cn string comment '业务限定中文名',
adjunct_word_desc string comment '业务限定描述',
adjunct_word_logic string comment '业务限定逻辑',
adjunct_word_status string comment '业务限定状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
source_path_attribute string comment '主要来源字段',
model_id bigint comment '逻辑表ID',
model_type string comment '逻辑表类型,FCT:事实逻辑表,DIM:维度逻辑表',
model_name string comment '逻辑表名称',
model_name_cn string comment '逻辑表中文名',
biz_process_id bigint comment '业务过程ID',
biz_process_name string comment '业务过程名称',
biz_process_name_cn string comment '业务过程中文名',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域名称',
data_domain_abbreviation string comment '数据域简称',
data_domain_name_cn string comment '数据域中文名',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
env string comment '环境,DEV:开发环境,PROD:生产环境',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '业务限定表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_derived_index
create table if not exists dim_dataphin_derived_index(
tenant_id bigint comment '租户id',
derived_index_id bigint comment '派生指标ID',
derived_index_name string comment '派生指标名称',
derived_index_name_cn string comment '派生指标中文名',
derived_index_desc string comment '派生指标描述',
derived_index_data_type string comment '派生指标数据类型',
derived_index_status string comment '派生指标状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
derived_index_logic string comment '派生指标逻辑',
atom_index_id bigint comment '原子指标ID',
atom_index_name string comment '原子指标名称',
atom_index_name_cn string comment '原子指标中文名',
atom_index_type string comment '原子指标类型,NORMAL:普通原子指标,COMPOSITE:合成原子指标',
atom_index_data_type string comment '原子指标数据类型',
atom_index_logic string comment '原子指标计算逻辑',
atom_index_status string comment '原子指标状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
atom_source_path_attribute string comment '主要来源字段',
adjunct_word_id bigint comment '业务限定ID',
adjunct_word_name string comment '业务限定名称',
adjunct_word_name_cn string comment '业务限定中文名',
adjunct_word_desc string comment '业务限定描述',
adjunct_word_logic string comment '业务限定逻辑',
adjunct_word_status string comment '业务限定状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
adjunct_word_source_path_attribute string comment '主要来源字段',
time_period_id bigint comment '统计周期ID',
time_period_name string comment '统计周期名称',
time_period_name_cn string comment '统计周期中文名称',
granularity_id bigint comment '统计粒度ID',
granularity_name string comment '统计粒度名称',
granularity_name_cn string comment '统计粒度中文名',
dimension_ids string comment '维度ID串，以分号分隔',
dimension_names string comment '维度名称串，以分号分隔',
dimension_name_cns string comment '维度中文名称串，以分号分隔',
summary_id bigint comment '统计粒度对应汇总表ID',
summary_name string comment '统计粒度对应汇总表名称',
summary_name_cn string comment '统计粒度对应汇总表中文名称',
biz_process_id bigint comment '业务过程ID',
biz_process_name string comment '业务过程名称',
biz_process_name_cn string comment '业务过程中文名',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域名称',
data_domain_abbreviation string comment '数据域简称',
data_domain_name_cn string comment '数据域中文名',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
env string comment '环境,DEV:开发环境,PROD:生产环境',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
period_type string comment '统计粒度,DAY:天,HOUR:小时,MINUTE:分钟,STREAMING:实时',
compute_type string comment '计算类型,AUTO:派生指标,COMBINE:衍生指标,CUSTOM:专家编码,MOUNT:外部注册'
) comment '派生指标'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_model
create table if not exists dim_dataphin_model(
tenant_id bigint comment '租户id',
model_id bigint comment '逻辑表ID',
model_name string comment '逻辑表名',
model_name_cn string comment '逻辑表中文名',
model_desc string comment '逻辑表描述',
model_status string comment '逻辑表状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
model_type string comment '逻辑表类型,DIM:维度逻辑表,FACT:事实逻辑表,SUM:汇总逻辑表,VIEW:逻辑视图',
env string comment '环境,DEV:开发环境,PROD:生产环境',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
customize_config string comment '自定义配置',
table_lifecycle string comment '逻辑表生命周期',
granularity_id bigint comment '统计粒度ID',
granularity_name string comment '统计粒度名称',
granularity_name_cn string comment '统计粒度中文名',
biz_process_id bigint comment '业务过程ID',
biz_process_name string comment '业务过程名称',
biz_process_name_cn string comment '业务过程中文名',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域名称',
data_domain_abbreviation string comment '数据域简称',
data_domain_name_cn string comment '数据域中文名',
biz_detail_time_column string comment '事实逻辑表时间字段',
biz_detail_main_table string comment '事实逻辑表主表',
biz_detail_main_table_condition string comment '事实逻辑表主表条件',
is_summary_support_cube string comment '汇总表是否支持cube',
view_content string comment '逻辑视图sql内容',
view_ref_table string comment '逻辑视图相关表',
ops_owner_id string comment '运维负责人ID',
ops_owner_name string comment '运维负责人名称',
dev_owner_id string comment '开发负责人ID',
dev_owner_name string comment '开发负责人名称',
physical_data_size bigint comment '逻辑表所对应所有物理表的存储大小的和,单位Byte'
) comment '逻辑表元数据'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_field
create table if not exists dim_dataphin_field(
tenant_id bigint comment '租户id',
field_id bigint comment '逻辑字段ID',
field_name string comment '逻辑字段名',
field_name_cn string comment '逻辑字段中文名',
field_seq bigint comment '逻辑字段顺序',
field_desc string comment '逻辑字段描述',
field_data_type string comment '逻辑字段数据类型',
field_logic string comment '逻辑字段逻辑',
field_type string comment 'SYS:系统字段,DIM:维度属性,REF:事实属性,MEAS:度量字段,SUM:汇总指标',
field_status string comment '逻辑字段状态,0:草稿箱,2:已提交,100:开发中,200:发布中,201已发布',
field_default_value string comment '逻辑字段默认值',
env string comment '环境,DEV:开发环境,PROD:生产环境',
model_type string comment '逻辑表类型,DIM:维度逻辑表,FACT:事实逻辑表,VIEW:逻辑视图,SUM:汇总逻辑表',
model_id bigint comment '逻辑表ID',
model_name string comment '逻辑表名',
model_name_cn string comment '逻辑表中文名',
is_partition string comment '是否分区字段 Y/N',
is_pk string comment '是否是主键 Y/N',
is_not_null string comment '是否不为空 Y/N',
is_unique string comment '是否唯一 Y/N',
is_physical string comment '是否物理字段,Y/N',
ref_dimension_id string comment '关联维度ID',
ref_dimension_role string comment '关联维度角色',
ref_dimension_role_cn string comment '关联维度角色中文名',
ref_field_id bigint comment '关联逻辑字段ID(逻辑视图)',
attribute_scope string comment '字段作用域',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
classify string comment '数据分类,S:公司数据,B:业务数据,C:个人数据,其余为自定义',
security_level string comment '安全等级,L1:对外公开,L2:对内公开,L3:机密数据,L4:绝密数据,其余为自定义'
) comment '逻辑表字段元数据'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;研发与运维
物理运维
dim_dataphin_node
create table if not exists dim_dataphin_node(
tenant_id bigint comment '租户id',
node_id string comment '节点ID',
node_name string comment '节点名称',
node_desc string comment '节点描述',
node_type string comment '调度类型,NORMAL:周期节点,MANUAL:手动节点',
operator_type string comment '节点类型',
cron_expression string comment 'cron 表达式',
cron_type string comment '调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
priority bigint comment '优先级',
env string comment '环境,DEV:开发环境,PROD:生产环境',
node_status string comment '节点状态,NORMAL:正常调度,PAUSED:暂停调度,IDLE:空跑调度',
param string comment '节点参数',
output_name_list string comment '输出列表',
compute_engine_config string comment '计算源配置',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
node_content string comment '节点内容',
is_logical_node string comment '是否逻辑表调度节点,Y/N',
resource_group string comment '资源组',
node_from string comment '节点来源',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务单元ID',
biz_unit_name string comment '业务单元名称',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '物理调度节点'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;fct_dataphin_node_taskrun_di
create table if not exists fct_dataphin_node_taskrun_di (
tenant_id bigint comment '租户id'
,taskrun_id string comment '实例运行ID'
,ready_time string comment '满足调度条件的时间'
,dispatch_time string comment '实例分发时间'
,start_execute_time string comment '实例运行开始时间'
,finish_execute_time string comment '实例运行完成时间'
,taskrun_status string comment '实例运行状态,SUCCESS/FAILED/WAIT_RESOURCE/KILLED/DROPPED/RUNNING/PAUSED/READY'
,with_downstreams string comment '是否关联下游一起调度'
,schedule_type string comment '调度类型,AUTO_SCHEDULED/RERUN/REDISPATCH'
,task_id string comment '实例ID'
,task_name string comment '实例名称'
,task_type string comment '实例类型,NORMAL:正常任务,VIRTUAL:虚拟任务,TEMP:临时任务,PAUSED:暂停调度,IDLE:空跑调度'
,task_due_time string comment '实例计划执行时间,根据cron表达式计算的时间'
,task_upstream_ready_time string comment '实例上游完成时间'
,task_last_execute_time string comment '实例最后一次执行时间'
,task_run_times string comment '实例运行次数'
,dagrun_type string comment '任务运行类型 NORMAL:周期性；MANUAL:手工；SUPPLEMENT:补数据；TEMP:临时'
,operator_type string comment '任务类型 ONE_SERVICE_SQL/MAX_COMPUTE_SQL/DATAX/DLINK/FLINK_STREAMING/MAX_COMPUTE_MR/PYTHON/SHELL/VIRTUAL'
,node_id string comment '节点ID'
,node_name string comment '节点名称'
,biz_date string comment '业务日期'
,env string comment '环境,DEV:开发环境,PROD:生产环境'
,index_col string comment '序号'
,is_logical_node string comment '是否逻辑表调度节点,Y/N'
--node_from string comment '节点来源',
,node_content_version string comment '任务代码版本号'
,node_content string comment '任务代码'
,project_id bigint comment '项目空间ID'
,project_name string comment '项目空间名称'
,owner_id string comment '所有者ID'
,owner_name string comment '所有者名称'
,gmt_create string comment '创建时间'
,gmt_modified string comment '修改时间'
,submitter_id string comment '实例运行提交人ID'
,submitter_name string comment '实例运行提交人名称'
,is_system_submitter string comment '是否系统提交'
)
comment '物理节点调度运行实例'
partitioned by (
ds string comment '分区字段,yyyymmdd'
)
lifecycle 90;dim_dataphin_datax_node
create table if not exists dim_dataphin_datax_node(
tenant_id bigint comment '租户id',
node_id string comment '节点ID',
node_name string comment '节点名称',
node_desc string comment '节点描述',
node_type string comment '调度类型,NORMAL:周期节点,MANUAL:手动节点',
operator_type string comment '节点类型',
cron_expression string comment 'cron 表达式',
cron_type string comment '调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
priority bigint comment '优先级',
env string comment '环境,DEV:开发环境,PROD:生产环境',
node_status string comment '节点状态,NORMAL:正常调度,PAUSED:暂停调度,IDLE:空跑调度',
param string comment '节点参数',
output_name_list string comment '输出列表',
compute_engine_config string comment '计算源配置',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
node_content string comment '节点内容',
is_logical_node string comment '是否逻辑表调度节点,Y/N',
resource_group string comment '资源组',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
reader_type string comment '读数据类型',
reader_ds_id string comment '读数据源ID',
reader_ds_name string comment '读数据源名称',
reader_db_name string comment '读数据库名称',
reader_table_name string comment '读数据源表名',
reader_where string comment '读数据过滤条件',
writer_type string comment '写数据类型',
writer_ds_id string comment '写数据源ID',
writer_ds_name string comment '写数据源名称',
writer_db_name string comment '写数据库名称',
writer_table_name string comment '写数据源表名',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment 'datax类型-物理调度节点'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_dlink_node
说明
DLink任务，脚本模式下，表名称无法解析。
create table if not exists dim_dataphin_dlink_node(
tenant_id bigint comment '租户id',
node_id string comment '节点ID',
node_name string comment '节点名称',
node_desc string comment '节点描述',
node_type string comment '调度类型,NORMAL:周期节点,MANUAL:手动节点',
operator_type string comment '节点类型',
cron_expression string comment 'cron 表达式',
cron_type string comment '调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
priority bigint comment '优先级',
env string comment '环境,DEV:开发环境,PROD:生产环境',
node_status string comment '节点状态,NORMAL:正常调度,PAUSED:暂停调度,IDLE:空跑调度',
param string comment '节点参数',
output_name_list string comment '输出列表',
compute_engin_config string comment '计算源配置',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
node_content string comment '节点内容',
is_logical_node string comment '是否逻辑表调度节点,Y/N',
resource_group string comment '资源组',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
reader_type string comment '读数据类型',
reader_ds_id string comment '读数据源ID',
reader_ds_name string comment '读数据源名称',
reader_db_name string comment '读数据库名称',
reader_table_name string comment '读数据源表名',
writer_type string comment '写数据类型',
writer_ds_id string comment '写数据源ID',
writer_ds_name string comment '写数据源名称',
writer_db_name string comment '写数据库名称',
writer_table_name string comment '写数据源表名',
owner_id bigint comment '所有者ID',
owner_name string comment '所有者名称',
modifier_id bigint comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment 'dlink类型-物理调度节点,注意该表node_id可能不唯一'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_node_edge
说明
表中source_node_id+source_node_output_name+target_node_id唯一。
在source_node_name字段中，以virtual_root_node开头的节点为系统内置根节点。
逻辑表同时展示逻辑节点（一张逻辑表对应一个逻辑节点）的依赖关系及其内部物化节点（一个逻辑节点可能对应一个或多个物化节点）的依赖关系。如果您只需要关注逻辑节点的依赖关系，可以筛选
target_operator_type = 'LOGICAL' and source_operator_type = 'LOGICAL'。
create table if not exists dim_dataphin_node_edge
(
tenant_id bigint comment '租户ID',
source_node_id string comment '上游节点id',
source_node_name string comment '上游节点名称',
source_node_status string comment '上游节点状态,NORMAL:正常调度,PAUSED:暂停调度,IDLE:空跑调度',
source_node_type string comment '上游节点调度类型,NORMAL:周期节点,MANUAL:手动节点',
source_cron_type string comment '上游节点调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
source_operator_type string comment '上游节点任务类型 ONE_SERVICE_SQL/MAX_COMPUTE_SQL/DATAX/DLINK/FLINK_STREAMING/MAX_COMPUTE_MR/PYTHON/SHELL/VIRTUAL/ONE_SERVICE_SQL_HIVE_CDP/VVP_BATCH等',
source_is_logical_node string comment '上游节点是否逻辑表调度节点,Y/N',
source_project_id bigint comment '上游节点项目空间ID',
source_project_name string comment '上游节点项目空间名称',
source_node_output_name string comment '上游节点输出名称',
target_node_id string comment '下游节点id',
target_node_name string comment '下游节点名称',
target_node_status string comment '下游节点状态,NORMAL:正常调度,PAUSED:暂停调度,IDLE:空跑调度',
target_node_type string comment '下游节点调度类型,NORMAL:周期节点',
target_cron_type string comment '下游节点调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
target_operator_type string comment '下游节点任务类型 ONE_SERVICE_SQL/MAX_COMPUTE_SQL/DATAX/DLINK/FLINK_STREAMING/MAX_COMPUTE_MR/PYTHON/SHELL/VIRTUAL/ONE_SERVICE_SQL_HIVE_CDP/VVP_BATCH等',
target_is_logical_node string comment '下游节点是否逻辑表调度节点,Y/N',
target_project_id bigint comment '下游节点项目空间ID',
target_project_name string comment '下游节点项目空间名称',
period_diff bigint comment '周期差, 始终为非负数。1. 如果source和target相同, periodDiff不能为0,periodDiff表示自依赖的周期差, 自依赖周期差默认为1。2. 如果source和target不相同, periodDiff默认为0,当periodDiff为正数时,表示节点target依赖source的前periodDiff天的结果',
day_diff bigint comment '天数差,表示target依赖前dayDiff天的所有source.默认是null,如果不是null,则periodDiff没有用',
is_self_depend string comment '是否自依赖,Y/N',
env string comment '环境,PROD/DEV',
gmt_create string comment '创建时间',
gmt_modified string comment '最近修改时间'
) comment '物理调度节点依赖关系表'
partitioned by (ds string comment '分区字段')
lifecycle 30;fct_dataphin_node_task_link_di
说明
仅保留生产环境系统自动生成的周期实例数据，按照vdm_link中周期任务T-2的11点后的做增量。
create table if not exists fct_dataphin_node_task_link_di
(
tenant_id bigint comment '租户ID',
source_task_id string comment '上游task_id',
source_task_name string comment '实例名称',
source_task_type string comment '实例类型,NORMAL:正常任务,VIRTUAL:虚拟任务,TEMP:临时任务,PAUSED:暂停调度,IDLE:空跑调度',
source_operator_type string comment '任务类型 ONE_SERVICE_SQL/MAX_COMPUTE_SQL/DATAX/DLINK/FLINK_STREAMING/MAX_COMPUTE_MR/PYTHON/SHELL/VIRTUAL/ONE_SERVICE_SQL_HIVE_CDP/VVP_BATCH等',
source_task_status string comment '下游task状态,INIT:未运行,WAIT_SCHEDULE:等待调度,DISPATCH_TO_AGENT_BLOCKED:分发被阻塞,WAIT_SUBMISSION:等待提交,WAIT_RESOURCE:等待资源,FAILED:运行失败,RUNNING:运行中,KILLED:运行中止,PAUSED:暂停,SUCCESS:运行成功',
source_biz_date string comment '业务日期',
source_node_id string comment '上游节点id',
source_node_name string comment '上游节点名称',
source_node_status string comment '上游节点状态,NORMAL:正常调度,PAUSED:暂停调度,IDLE:空跑调度',
source_node_type string comment '上游节点调度类型,NORMAL:周期节点',
source_cron_type string comment '上游节点调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
source_project_id bigint comment '上游实例项目空间ID',
source_project_name string comment '上游实例项目空间名称',
target_task_id string comment '下游task_id',
target_task_name string comment '实例名称',
target_task_type string comment '实例类型,NORMAL:正常任务,VIRTUAL:虚拟任务,TEMP:临时任务,PAUSED:暂停调度,IDLE:空跑调度',
target_operator_type string comment '任务类型 ONE_SERVICE_SQL/MAX_COMPUTE_SQL/DATAX/DLINK/FLINK_STREAMING/MAX_COMPUTE_MR/PYTHON/SHELL/VIRTUAL/ONE_SERVICE_SQL_HIVE_CDP/VVP_BATCH等',
target_task_status string comment '下游task状态,INIT:未运行,WAIT_SCHEDULE:等待调度,DISPATCH_TO_AGENT_BLOCKED:分发被阻塞,WAIT_SUBMISSION:等待提交,WAIT_RESOURCE:等待资源,FAILED:运行失败,RUNNING:运行中,KILLED:运行中止,PAUSED:暂停,SUCCESS:运行成功',
target_biz_date string comment '业务日期',
target_node_id string comment '上游节点id',
target_node_name string comment '上游节点名称',
target_node_status string comment '上游节点状态,NORMAL:正常调度,PAUSED:暂停调度,IDLE:空跑调度',
target_node_type string comment '上游节点调度类型,NORMAL:周期节点',
target_cron_type string comment '上游节点调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
target_project_id bigint comment '上游实例项目空间ID',
target_project_name string comment '上游实例项目空间名称',
dagrun_type string comment '任务运行类型 NORMAL:周期性；MANUAL:手工；SUPPLEMENT:补数据；TEMP:临时',
is_self_depend string comment '是否自依赖',
env string comment '环境,PROD/DEV',
gmt_create string comment '创建时间',
gmt_modified string comment '最近修改时间'
) comment '物理调度实例依赖关系表'
partitioned by (ds string comment '分区字段')
lifecycle 30;dim_dataphin_monitored_rule
create table if not exists dim_dataphin_monitored_rule(
tenant_id bigint comment '租户ID',
monitored_rule_id bigint comment '监控配置项ID',
monitored_rule_type string comment '监控配置类型,LOGIC_FIELD:逻辑表字段,SCHEDULE_PHYSICAL_NODE:周期物理任务,MANUAL_PHYSICAL_NODE:手动物理任务,LOGICAL_TABLE_NODE:逻辑表任务,PROJECT:项目级',
switch_status string comment '开关状态:TRUE/FALSE',
external_node_id string comment '监控对象ID,具体取决于monitored_rule_type字段',
external_node_name string comment '监控对象名称',
project_id bigint comment '项目ID',
project_name string comment '项目名称',
model_id string comment '逻辑表ID,监控配置类型为LOGIC_FIELD时存在',
model_name string comment '逻辑表名称,监控配置类型为LOGIC_FIELD时存在',
biz_unit_id string comment '逻辑表所在业务板块ID,监控配置类型为LOGIC_FIELD时存在',
biz_unit_name string comment '逻辑表所在业务板块名称,监控配置类型为LOGIC_FIELD时存在',
alert_reason_type string comment '告警原因：DATA_DELAY:数据延迟,FAILED:运行失败,SUCCESS:运行成功,TIME_OUT:超时,UNFINISHED:未完成',
alert_reason_config string comment '告警原因配置',
alert_strategy string comment '告警发送策略',
owner_id string comment '负责人ID',
owner_name string comment '负责人名称',
last_modifier_id string comment '最近修改人ID',
last_modifier_name string comment '最近修改人名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '运维监控配置表'
partitioned by (ds string comment '分区字段,yyyymmddd')
lifecycle 30
;fct_dataphin_dlink_node_taskrun_step_metric_di
create table if not exists fct_dataphin_dlink_node_taskrun_step_metric_di(
tenant_id bigint comment '租户ID',
project_id bigint comment '项目ID',
project_name string comment '项目名称',
taskrun_id string comment '实例运行ID',
engine_type string comment '引擎类型:dlink',
env string comment '环境模式:DEV/PROD',
gmt_create string comment '创建时间',
dagrun_type string comment '任务运行类型 NORMAL:周期性；MANUAL:手工；SUPPLEMENT:补数据；TEMP:临时',
taskrun_status string comment '实例运行状态：INIT/WAIT_SCHEDULE/DISPATCH_TO_AGENT_BLOCKED/WAIT_SUBMISSION/WAIT_RESOURCE/RUNNING/FAILED/KILLING/KILLED/PAUSED/SUCCESS/TASK_NOT_EXISTS',
exception_info string comment '实例运行失败异常信息',
total_time bigint comment '实例运行总时间(秒)',
start_time string comment '实例运行开始时间',
end_time string comment '实例运行结束时间',
node_id string comment '节点ID',
schedule_interval_type string comment '节点调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY/YEARLY',
node_config_memory bigint comment '节点配置内存(MB)',
node_config_cpu double comment '节点配置cpu',
node_config_paralle bigint comment '节点配置全局并发',
owner_id string comment '节点负责人ID',
owner_name string comment '节点负责人名称',
task_id string comment '实例ID',
task_name string comment '任务名称',
biz_date string comment '业务日期',
execute_ip string comment '实例运行机器地址',
total_lines_reader bigint comment '实例运行总成功读取记录数',
total_lines_written bigint comment '实例运行总成功总写入记录数',
total_lines_rejected bigint comment '实例运行脏数据记录数',
total_bytes_reader bigint comment '实例运行总成功读取数据字节数',
total_bytes_written bigint comment '实例运行总成功写入数据字节数',
total_wait_reader_time bigint comment '实例运行读等待时间(毫秒)',
total_wait_writer_time bigint comment '实例运行写等待时间(毫秒)',
avg_reader_record bigint comment '实例运行平局读取记录数每秒',
avg_writer_record bigint comment '实例运行平均写入记录数每秒',
avg_reader_bytes double comment '实例运行务平局读取字节数每秒',
avg_writer_bytes double comment '实例运行平均写入字节数每秒',
taskrun_content string comment '实例运行json代码',
memory_info string comment '实例运行内存使用信息',
average_cpu double comment '实例运行cpu平均负载(百分比)',
gc_time bigint comment '实例运行gc总耗时(毫秒)',
step_name string comment '步骤名称',
category string comment '读写类型:reader/writer/transform/filter/map',
step_type string comment 'dlink步骤类型',
step_ds_type string comment 'COMPUTE:计算源,DATASOURCE:数据源,LOGICTABLE:逻辑表,OTHER:其他',
ds_id bigint comment '数据源ID或计算源ID',
ds_name string comment '数据源名称或计算源名称',
ds_project_id bigint comment '计算源绑定项目ID,使用项目做计算源时存在',
ds_project_name string comment '计算源绑定项目名称,使用项目做计算源时存在',
ds_biz_unit_id string comment '逻辑表业务板块ID,步骤读逻辑表是存在',
ds_biz_unit_name string comment '逻辑表业务板块,步骤读逻辑表是存在',
ds_type string comment '数据源或计算源类型',
table_name string comment '步骤读写表(多表只展示一个)',
tables_list string comment '步骤读写表(全量表，多表逗号分隔符)',
step_lines_reader bigint comment '步骤读取记录数',
step_lines_written bigint comment '步骤写入记录数',
step_lines_rejected bigint comment '步骤脏数据记录数',
step_bytes_reader bigint comment '步骤读取字节数',
step_bytes_written bigint comment '步骤写入字节数',
step_wait_reader_time bigint comment '步骤读等待时间',
step_wait_writer_time bigint comment '步骤写等待时间'
) comment '集成任务节点运行实例统计信息:粒度为taskrun_id+step_name'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 180
;fct_dataphin_monitor_alert_event_di
create table if not exists fct_dataphin_monitor_alert_event_di
(
tenant_id bigint comment '租户Id',
alert_event_id bigint comment '告警事件id',
source_system string comment '来源系统,DQE:数据质量,KGB:基线,VDM_BATCH:调度运维,OS:数据服务,STREAM:实时计算,REAL_TIME_PIPELINE:实时集成,QD_开头:QD,CUSTOM:自定义',
alert_object_name string comment '对象名称',
alert_object_type string comment '对象类型:REAL_TIME_PIPELINE_TASK:实时计算任务,OS_API:API接口,OS_APPLICATION_SERVICE:数据服务应用,KGB:基线,QD_DECISION_INVOKE:标签系统,CUSTOM:自定义,VDM_开头:离线任务,DQE_开头:数据质量',
project_id bigint comment '项目ID',
project_name string comment '项目名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
biz_date string comment '业务日期',
alert_reason string comment '告警原因,枚举值见说明',
alert_reason_params string comment '告警原因参数',
latest_alert_time string comment '最新告警时间',
first_alert_time string comment '首次告警时间',
url_config string comment '链接信息',
alert_sending_config string comment '告警频率信息',
status string comment '告警状态,ALERTING:告警中,DO_NOT_DISTURB:免打扰,SILENCING:告警中(静默期),FINISH:告警完成',
do_not_disturb_end_time string comment '免打扰结束时间',
total_alert_times bigint comment '告警次数',
alert_channel_list string comment '告警渠道列表,VOICE:电话,SMS:短信,MAIL:邮件,DINGTALK_ROBOT:钉钉,DINGDING:钉钉工作通知,CUSTOM:自定义渠道,SILENCE:不发送',
alert_user_list string comment '告警接收人列表',
alert_advanced_config string comment '高级配置',
owner_id string comment '负责人ID',
owner_name string comment '负责人名称',
on_call_table_list string comment '值班表列表',
gmt_create string comment '告警事件创建时间',
gmt_modified string comment '告警事件修改时间',
source_system_id string comment '根据source_system不同,值不同. KGB:dim_dataphin_baseline_object.baseline_id,VDM_BATCH:dim_dataphin_monitored_rule.monitored_rule_id',
source_system_biz_id string comment '根据source_system不同,值不同. DQE:dim_dataphin_dp_quality_rule.rule_id,VDM_BATCH:dim_dataphin_node.node_id或dim_dataphin_model.model_id'
)comment '告警事件表:按照首次告警时间first_alert_time做日增量'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 90;说明
alert_reason枚举值：
数据质量：
DQE_COLUMN：字段规则异常。
DQE_DATA_SOURCE：数据源规则异常。
DQE_TABLE：表规则异常。
DQE_REALTIME_TABLE：实时表规则异常。
DQE_INDEX：指标规则异常。
数据服务：
OS_AVG_RESPONSE：平均响应时间异常。
OS_CALL_TIMES：调用次数异常。
OS_ERROR_RATE：错误率异常。
OS_OFFLINE：Offline百分比异常。
离线周期任务：
VDM_BATCH_ERROR：出错。
VDM_BATCH_FINISH：完成。
VDM_BATCH_TIME_OUT：运行超时。
VDM_BATCH_UNDONE：未完成。
VDM_BATCH_LOGIC_DATA_DELAY：逻辑表数据延迟。
基线：
KGB_TASK_ERROR：基线任务出错。
KGB_TASK_SLOW_DOWN：基线任务变慢。
KGB_EARLY_WARNING：基线预警。
KGB_BROKEN_LINE：基线破线。
实时计算和实时集成：
STREAM_BIZ_DELAY：业务延迟过高。
STREAM_DATA_RETENTION：数据滞留超过配置。
STREAM_MORE_THAN_FAILURE：失败频率超过配置。
STREAM_TPS_OUT_RANGE：TPS超过范围。
STREAM_CHECKPOINT_FAILURE：checkpoint失败超过配置。
STREAM_BACKPRESSURE：反压持续时间超过配置。
STREAM_JOB_FAILURE：运行失败。
其他自定义：
LOGICAL_INSTANCE_GENERATION：逻辑实例生成监控。
fct_dataphin_monitor_alert_notification_di
说明
alert_reason枚举值：同上fct_dataphin_monitor_alert_event_di表的alert_reason枚举值。
create table if not exists fct_dataphin_monitor_alert_notification_di(
tenant_id bigint comment '租户Id',
alert_notification_id bigint comment '推送记录id',
alert_event_id bigint comment '告警事件id,fct_dataphin_monitor_alert_event_di.alert_event_id,-1为合并多个告警事件场景',
source_system string comment '来源系统,DQE:数据质量,KGB:基线,VDM_BATCH:调度运维,OS:数据服务,STREAM:实时计算,REAL_TIME_PIPELINE:实时集成,QD_开头:QD,CUSTOM:自定义',
alert_object_name string comment '对象名称',
alert_object_type string comment '对象类型:REAL_TIME_PIPELINE_TASK:实时计算任务,OS_API:API接口,OS_APPLICATION_SERVICE:数据服务应用,KGB:基线,QD_DECISION_INVOKE:标签系统,CUSTOM:自定义,VDM_开头:离线任务,DQE_开头:数据质量',
notify_time string comment '推送时间',
biz_date string comment '业务日期',
alert_reason string comment '告警原因,枚举值见说明',
alert_reason_params string comment '告警原因参数',
message_content string comment '告警内容',
receiver_type string comment '接受人类型,ON_CALL_TABLE:值班表,USER_DEFINED:自定义用户,OWNER:负责人',
alert_channel string comment '推送渠道',
alert_user string comment '推送接收人',
on_call_table_id bigint comment '值班表id',
on_call_table_name string comment '值班表名称',
notify_status string comment '推送状态,SUCCESS:发送成功,FAILED:发送失败,SENDING:正在发送,UNKNOWN:未知状态',
fail_reason string comment '失败原因',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment '告警推送记录表:按照推送时间notify_time做日增量'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 90;逻辑运维
dim_dataphin_model_node
create table if not exists dim_dataphin_model_node(
tenant_id bigint comment '租户id',
model_node_id string comment '逻辑表节点ID',
model_node_name string comment '逻辑表节点名',
model_node_name_cn string comment '逻辑表节点中文名',
model_id bigint comment '逻辑表ID',
model_name string comment '逻辑表名称',
model_name_cn string comment '逻辑表中文名称',
model_type string comment '逻辑表类型',
control_node_id string comment '控制节点ID,对应dim_dataphin_vdm_node表node_id',
cron_type string comment '调度周期,MINUTELY/HOURLY/DAILY/MONTHLY/WEEKLY',
fix_time string comment '预调起时间',
is_paused string comment '是否暂停,Y/N',
field_cnt bigint comment '字段数',
field_group_cnt bigint comment '字段分组数',
priority string comment '优先级',
env string comment '环境,DEV:开发环境,PROD:生产环境',
is_level string comment '是否层级维度',
level_mid_node_id string comment '层级维度mid节点id',
level_mid_node_name string comment '层级维度mid节点名称',
resource_group string comment '资源组',
task_group string comment '任务组',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '逻辑表调度节点'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;fct_dataphin_model_node_task_di
create table if not exists fct_dataphin_model_node_task_di(
tenant_id bigint comment '租户id',
model_task_id string comment '逻辑表节点ID',
model_node_id string comment '逻辑表节点ID',
model_node_name string comment '逻辑表节点名',
model_node_name_cn string comment '逻辑表节点中文名',
model_task_type string comment '任务运行类型 NORMAL:周期性；MANUAL:手工；SUPPLEMENT:补数据；TEMP:临时',
start_time string comment '开始运行时间',
end_time string comment '结束运行时间',
model_id bigint comment '逻辑表ID',
model_name string comment '逻辑表名称',
model_name_cn string comment '逻辑表中文名称',
model_type string comment '逻辑表类型',
control_node_id string comment '控制节点ID,对应dim_dataphin_vdm_node表node_id',
control_node_task_id string comment '控制节点实例ID,dwd_dataphin_vdm_node_taskrun_di表的task_id',
cron_type string comment '调度周期,MINUTE/HOUR/DAY/MONTH/WEEK',
fix_time string comment '预调起时间',
biz_date string comment '业务日期',
is_paused string comment '是否暂停,Y/N',
paused_type string comment '暂停类型',
initialized string comment '是否初始化,Y/N',
field_cnt bigint comment '字段数',
field_group_cnt bigint comment '字段分组数',
priority string comment '优先级',
internal_status string comment '字段混合状态(忽略)',
env string comment '环境,DEV:开发环境,PROD:生产环境',
is_level string comment '是否层级维度',
level_mid_node_id string comment '层级维度mid节点id',
level_mid_node_name string comment '层级维度mid节点名称',
resource_group string comment '资源组',
task_group string comment '任务组',
project_id bigint comment '项目空间ID',
project_name string comment '项目空间名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '逻辑表调度实例'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;引擎
fct_dataphin_maxcompute_task_di
说明
该表仅做MaxCompute执行作业参考，具体以MaxCompute侧的数据为准。
该表仅包含在Dataphin上绑定计算源和项目的MaxCompute项目的作业数据。
由于该表以start_time为准做业务日期归档，因此对于跨天作业的状态、结束时间、cost等信息不准确，也不会进行回刷处理。
对于从Dataphin提交的任务信息才可以解析出Dataphin相关的信息。由于元仓任务直连MaxCompute，因此也不会有Dataphin相关信息。Dlink任务创建表或添加分区的任务也不会有Dataphin相关信息。其余直连MaxCompute执行的任务，也不会有Dataphin相关信息。
由于该表通过MaxCompute项目名称做关联，对于不通过Dataphin提交的任务，会关联到MaxCompute项目所绑定的计算源对应的Dataphin项目。另外，如果绑定了Dataphin多个租户的MaxCompute项目，可能会出现inst_id重复但是dataphin_tenant_id不同的数据。
create table if not exists fct_dataphin_maxcompute_task_di(
maxcompute_project_name string comment 'MaxCompute的项目名称',
task_name string comment 'MaxCompute的作业名称',
task_type string comment '作业类型,SQL：SQL作业,CUPID：Spark或Mars作业,SQLCost：SQL预估作业,SQLRT：查询加速SQL作业,LOT：MapReduce作业,PS：PAI的Parameter Server',
inst_id string comment 'MaxCompute的实例ID',
inst_status string comment '数据采集瞬间的运行状态（非实时状态）作业状态。取值包括：Terminated：作业已执行结束。Failed：作业失败。Cancelled：作业被取消。 Other：其他',
inst_owner_name string comment '作业提交人阿里云账号名称',
`result` string comment '作业执行错误信息',
start_time string comment '作业开始时间,格式yyyy-mm-dd hh:mi:ss',
end_time string comment '作业结束时间,格式yyyy-mm-dd hh:mi:ss',
input_records bigint comment '输入记录数',
output_records bigint comment '输出记录数',
input_bytes bigint comment '输入数据量,单位:字节Byte',
output_bytes bigint comment '输出数据量,单位:字节Byte',
input_tables string comment '输入表列表,仅SQL类型作业',
output_tables string comment '输出表列表,仅SQL类型作业',
operation_text string comment '作业语句,仅SQL类型作业',
cost_cpu double comment '作业CPU消耗（100表示1 core× 1 s。例如：10 core运行5s，cost_cpu为10×100×5=5000）',
cost_mem double comment '作业内存消耗，值为：MB×seconds。',
settings string comment '上层调度或用户传入的信息，以JSON格式存储。',
dataphin_tenant_id string comment 'dataphin租户ID',
dataphin_project_id bigint comment 'dataphin项目空间ID',
dataphin_project_name string comment 'dataphin项目空间名称',
dataphin_node_id string comment 'dataphin节点ID',
dataphin_node_name string comment 'dataphin节点名称',
dataphin_node_owner_id string comment 'dataphin账号ID',
dataphin_node_owner_name string comment 'dataphin账号名称',
dataphin_task_id string comment 'dataphin实例ID',
dataphin_taskrun_id string comment 'dataphin实例运行ID',
dataphin_taskrun_submitter_id string comment 'dataphin实例运行提交人ID',
dataphin_taskrun_submitter_name string comment 'dataphin实例运行提交人名称',
dataphin_is_system_submitter string comment '是否dataphin系统提交实例运行',
dataphin_dagrun_type string comment 'dataphin dagrun类型,NORMAL:周期性,MANUAL:手工/临时查询,SUPPLEMENT:补数据；',
dataphin_biz_date string comment 'dataphin实例业务日期,格式yyyymmdd',
platform_name string comment 'DATAPHIN'
) comment 'MaxCompute作业增量表'
partitioned by (ds string comment '分区字段,yyyymmdd,以start_time为准做归档')
lifecycle 15;OS
fct_dataphin_os_task_table_inputoutput_di
说明
粒度：执行任务ID + 输入表ID + 输入环境 + 输出表ID + 输出环境。
create table if not exists fct_dataphin_os_task_table_inputoutput_di (
tenant_id bigint comment '租户ID',
os_task_id string comment '执行任务ID',
os_instance_id string comment '执行实例ID',
os_job_id string comment '执行调度ID',
engine_job_id string comment '执行引擎jobId,MaxCompute为instanceId',
vdm_task_id string comment 'vdm taskId',
vdm_taskrun_id string comment 'vdm taskrunID',
os_task_source string comment '执行任务来源',
biz_id string comment '业务id',
dagrun_type string comment '任务运行类型 NORMAL:周期性；MANUAL:手工；SUPPLEMENT:补数据；TEMP:临时',
operator_type string comment '任务类型 ONE_SERVICE_SQL/MAX_COMPUTE_SQL/DATAX/DLINK/FLINK_STREAMING/MAX_COMPUTE_MR/PYTHON/SHELL/VIRTUAL',
node_id string comment '节点ID',
sql_type string comment '任务类型:dml',
gmt_create string comment '创建时间',
run_time string comment '开始运行时间',
env string comment '环境,DEV/PROD',
input_project_id bigint comment '输入项目ID',
input_project_name string comment '输入项目名称',
input_biz_unit_id bigint comment '输入业务板块ID',
input_biz_unit_name string comment '输入业务板块名称',
input_table_id string comment '输入表ID',
input_table_name string comment '输入表名',
input_env string comment '输入环境,DEV/PROD',
input_is_logical_table string comment '输入报是否逻辑表,Y/N',
output_project_id bigint comment '输出项目ID',
output_project_name string comment '输出项目名称',
output_biz_unit_id bigint comment '输出业务板块ID',
output_biz_unit_name string comment '输出业务板块名称',
output_table_id string comment '输出表ID',
output_table_name string comment '输出表名',
output_env string comment '输出环境,DEV/PROD',
output_is_logical_table string comment '输出表是否逻辑表,Y/N'
)comment 'OS SQL解析的输入输出表'
partitioned by (ds string comment '分区字段yyyymmdd')
lifecycle 90;研发
fct_dataphin_submit_record_df
说明
该表包含计算任务、智能建模、物理表管理、数据集成的提交管理。
submit_id+submit_type记录唯一。
object_type字段注释：
当submit_type=NODE时，MANUAL：手动任务；NORMAL：周期任务。
当submit_type=DLINK时，OFFLINE_PIPELINE：离线数据集成；REAL_TIME_PIPELINE：实时数据集成。
当submit_type=LOGIC时，FACT_LOGIC_TABLE：事实逻辑表；SUMMARY_LOGIC_TABLE：汇总逻辑表；DIM_LOGIC_TABLE：维度逻辑表；BIZ_PROCESS：业务过程；BIZ_OBJECT：业务对象；BIZ_CONDITION：业务限定；ATOM_INDEX：原子指标；DERIVED_INDEX：派生指标。
当submit_type=TABLE时，ALTER：修改表；CREATE：创建表；DELETE：删除表。
当
submit_type=LOGIC and object_type in ('BIZ_OBJECT','BIZ_PROCESS')， project_id/project_name为空时，对于submit_type=LOGIC and object_type = 'SUMMARY_LOGIC_TABLE'存在历史的情况下 project_id/project_name为空。当
project_mode=BASIC，且is_published全部为N时，因为在BASIC模式下，所以提交即发布。
create table if not exists fct_dataphin_submit_record_df(
submit_id string comment '提交记录ID',
submit_type string comment '提交记录类型,NODE:代码任务,LOGIC:智能建模,TABLE:物理表管理,DLINK:数据集成',
tenant_id bigint comment '租户ID',
object_id string comment '提交对象ID,具体见submit_type和object_type字段',
object_type string comment '提交记录类型,注释见文档',
object_name string comment '提交对象名称',
object_version string comment '版本号',
object_content string comment '提交内容',
object_owner_id string comment '当前对象负责人ID',
object_owner_name string comment '当前对象负责人名称',
submit_comment string comment '提交注释信息',
submit_user_id string comment '提交用户ID',
submit_user_name string comment '提交用户ID',
is_published string comment '是否已发布,Y/N',
project_id bigint comment '项目ID',
project_name string comment '项目名称',
project_mode string comment '项目模式,BASIC:基础模式,DEV_PROD:开发/生产模式',
biz_unit_id string comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
submit_time string comment '提交时间'
)comment 'dataphin提交记录全量表'
partitioned by (ds string comment '分区字段yyyymmdd')
lifecycle 7;fct_dataphin_publish_record_df
说明
object_type字段注释：
研发：
VIRTUAL：虚拟任务；SHELL：脚本任务；PYTHON：Python任务；VIRTUAL：虚拟任务；UDF：自定义函数；IDE_RESOURCE：自定义资源；MAX_COMPUTE_SQL：MaxCompute SQL任务；HIVE_SQL：Hive SQL任务；DATABASE_SQL：数据库SQL任务；SPARK_JAR_ON_HIVE：Spark on Hive任务；SPARK_JAR_ON_MAX_COMPUTE：Spark on MaxCompute任务；STARROCKS_SQL：StarRocks SQL 任务；ADB_PG_SQL：Adb for Pg SQL任务；DATA_PROCESS_PHYSICAL_TABLE：物理表；TASK_TEMPLATE：计算模板；ARGODB_SQL：ArgoDB SQL任务；HOLOGRES_SQL：Holo SQL任务；IMPALA_SQL：Impala SQL任务。
集成：
OFFLINE_PIPELINE：离线数据集成；REAL_TIME_PIPELINE：实时数据集成。
智能建模：
FACT_LOGIC_TABLE：事实逻辑表；SUMMARY_LOGIC_TABLE：汇总逻辑表；DIM_LOGIC_TABLE：维度逻辑表；BIZ_PROCESS：业务过程；BIZ_OBJECT：业务对象；BIZ_CONDITION：业务限定；ATOM_INDEX：原子指标；DERIVED_INDEX：派生指标；LOGICAL_TABLE_COLUMN：逻辑表字段；DATA_DOMAIN：数据域；BIZ_UNIT：业务单元。
实时：
FLINK_SQL：实时SQL任务；META_TABLE：实时元表；MIRROR_TABLE：实时镜像表。
以QUALITY_开头：数据质量相关。
以DATA_SECURITY_开头：数据安全相关。
以DATA_STANDARD_开头：数据标准相关。
以QD_开头：智能决策引擎相关。
create table if not exists fct_dataphin_publish_record_df(
tenant_id bigint comment '租户ID',
object_id string comment '对象ID',
object_type string comment '对象类型,注释见文档',
object_name string comment '对象名称',
object_version string comment '对象版本',
change_type string comment '变更类型,CREATE/UPDATE/DELETE',
publish_id string comment '发布ID',
publish_name string comment '发布名称',
publish_status string comment '发布状态,NOT_VERIFIED:未验证,APPROVING:审批中,APPROVE_FAILED:审批失败,APPROVE_SUCCESS:审批成功,APPROVE_REVOKED:审批撤销,CHECK_FAILED:检测失败,CHECK_SUCCESS:检测成功,PUBLISHING:发布中,FAILED:失败,SUCCESS:成功',
publish_error string comment '发布错误信息',
publisher_id string comment '发布人ID',
publisher_name string comment '发布人名称',
group_id string comment '发布组ID',
group_name string comment '发布组名称',
finish_time string comment '发布完成时间',
data_domain_id bigint comment '数据域ID',
data_domain_name string comment '数据域ID',
node_id string comment '节点ID,对应dim_dataphin_node表的node_id',
gmt_create string comment '创建时间',
gmt_modify string comment '修改时间',
project_id bigint comment '项目id',
project_name string comment '项目名称',
biz_unit_id bigint comment '业务板块id',
biz_unit_name string comment '业务板块名称',
extend_properties string comment '对象扩展字段',
tag string comment '标签，用于数据迁移、数据标记等场景,NORMAL_SUBMIT:正常用户提交，页面显示,SYSTEM_SUBMIT:系统提交待发布记录，页面不显示,UPGRADE:升级时tag',
public_status_info string comment '发布状态结果扩展信息，json字符串',
sub_item_list string comment '待发布子项json，仅供展示使用',
sync_publish string comment '是否同步发布:SYNC/ASYNC',
biz_tag string comment '业务标签,BATCH_PUBLISH'
)comment 'Dataphin发布记录表'
partitioned by (ds string comment '分区字段yyyymmdd')
lifecycle 15;权限
fct_dataphin_security_auth_permission_record_df
说明
当前不包括数据服务权限。
resource_type资源类型字段说明：
规划：BIZ_UNIT：业务板块；DATA_DOMAIN：数据域；PROJECT：项目；GLOBAL_PARAM：全局参数。
数据源：DATA_SOURCE：数据源。
物理表：PHYSICAL_TABLE：物理表。
函数：FUNCTION：函数。
逻辑表：LOGICAL_FIELD：逻辑表字段；PHYSICAL_FIELD：物理表字段。
数据服务：OS_API：数据服务API；OS_API_FIELD：数据服务API字段；OS_APP：数据服务APP；OS_LOGIC_UNIT：数据服务单元；OS_DS：数据服务数据源；OS_DS_TABLE：数据服务数据源表；OS_DS_FIELD：数据服务数据源表字段；OS_DS_LOGICAL_TABLE：数据服务逻辑表；OS_DS_LOGICAL_FIELD：数据服务逻辑表字段。
资源组：RS_RESOURCE_GROUP：RS资源组。
元表：REALTIME_LOGICAL_TABLE：实时元表；REALTIME_LOGICAL_FIELD：实时元表字段。
镜像表：REALTIME_MIRROR_TABLE：镜像表；REALTIME_MIRROR_FIELD：实时镜像表字段。
视图：FEATURE：物理视图；PHYSICAL_VIEW：物理视图；LOGICAL_VIEW：逻辑视图；PHYSICAL_MATERIALIZED_VIEW：物化视图。
密钥：SECRET_KEY：密钥。
标签：QD_SERVICE_FEATURE：服务标签；QD_OFFLINE_FEATURE：离线标签；QD_REALTIME_FEATURE：实时标签；QD_ADVANCED_FEATURE：高级标签；QD_CLUSTER：群组；QD_EVENT：事件；QD_OFFLINE_SERVICE：标签离线服务任务。
resource_owners字段取值不建议使用。
V4.3版本之前：该字段存储的是系统默认审批模板（即未编辑修改过的初始化系统模板）的审批人列表；如果编辑修改过系统模板，该字段值不会更新；针对数据源表，该字段取值为空。
V4.3版本起：
针对表类型的资源，修正取值逻辑，修改为在资产清单页面配置的Dataphin表的表负责人；针对数据源表，该字段取值为空。
针对函数、密钥类型的资源，该字段的取值逻辑保持不变，仍为根据系统审批模板获取的审批人列表。
create table if not exists fct_dataphin_security_auth_permission_record_df (
record_id bigint comment '权限记录唯一ID',
tenant_id bigint comment '租户ID',
permission_source string comment '权限来源,BY_APPLY:权限申请,BY_GRANT:权限授予',
account_type string comment '账号类型,PERSONAL:个人账号,USER_GROUP:用户组,PRODUCE:生产账号',
account_user_id string comment '账号ID',
account_user_name string comment '账号名称',
account_project_id string comment '生产账号所对应项目ID',
account_project_name string comment '生产账号所对应项目名称',
resource_id string comment '资源ID,与申请权限对象有关',
resource_type string comment '资源类型',
resource_env string comment 'PROD/DEV',
resource_name string comment '资源名称',
resource_cn_name string comment '资源中文名称',
resource_owners string comment '资源owner',
resource_project_id string comment '资源所在项目ID',
resource_project_name string comment '资源所在项目名称',
resource_project_env string comment 'PROD/DEV',
resource_project_cn_name string comment '资源所在项目中文名称',
resource_biz_unit_id string comment '资源所在业务板块ID',
resource_biz_unit_env string comment 'PROD/DEV',
resource_biz_unit_name string comment '资源所在业务板块名称',
resource_biz_unit_cn_name string comment '资源所在业务板块中文名称',
resource_properties string comment '资源属性,json格式',
operate_periods string comment '权限明细信息,json格式',
nearest_period_type string comment '最近的将失效权限的到期类型,DAYS_30:30天,DAYS_90:90天,DAYS_180:180天,DAYS_365:365天,LONG_TERM:长期,CUSTOM:自定义',
nearest_period_end string comment '最近的将失效权限的到期时间',
is_invalid string comment '是否已失效,Y/N',
invalid_date string comment '失效时间',
auth_scope string comment '授权范围,SELECT_TABLE:指定表,PROJECT_ALL_TABLE:项目下所有表,BIZ_UNIT_ALL_LOGIC_TABLE:业务板块下所有逻辑表',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
modifier_id string comment '修改人ID',
modifier_name string comment '修改人名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment 'dataphin权限记录表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 15;基线
dim_dataphin_baseline_object
create table if not exists dim_dataphin_baseline_object(
tenant_id bigint comment '租户ID',
baseline_id bigint comment '基线ID',
baseline_name string comment '基线名称',
baseline_type string comment '基线类型,DAY:天基线,HOUR:小时基线,EMPTY:空基线',
baseline_description string comment '基线描述',
promise_times string comment '承诺产出时间，json格式',
warning_times string comment '预警时间，json格式',
baseline_priority bigint comment '基线优先级,1:最低,2:低,3:中,4:高,5:超高',
warning_setting string comment '基线告警配置，json格式',
baseline_warning_switch string comment '基线告警开关:TRUE/FALSE',
baseline_owner_id string comment '基线负责人ID',
baseline_owner_name string comment '基线负责人名称',
baseline_modifier_id string comment '最近修改人ID',
baseline_modifier_name string comment '最近修改人名称',
object_type string comment '对象类型,PHYSICAL_NODE:物理任务,LOGIC_FIELD:逻辑表任务',
object_id string comment '对象ID,与object_type有关',
object_name string comment '对象名称',
object_catalog string comment '对象所属catalog, 项目名称或业务板块名称',
object_owner_id string comment '对象负责人ID',
object_owner_name string comment '对象负责人名称',
object_project_id string comment '物理任务所在项目ID',
object_project_name string comment '物理任务所在项目名称',
object_biz_unit_id string comment '逻辑表任务所在业务板块ID',
object_biz_unit_name string comment '逻辑表任务所在业务板块名称',
object_field_names string comment '逻辑表字段名列表,逗号分隔',
object_fix_produce_time string comment '对象固定产出时间',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '基线监控对象表'
partitioned by (ds string comment '分区字段,yyyymmddd')
lifecycle 30;公共
用户
dim_dataphin_tenant_user
create table if not exists dim_dataphin_tenant_user(
tenant_id bigint comment '租户ID',
user_id string comment 'Dataphin用户ID',
account_name string comment '账号名称',
account_type string comment '账号类型',
display_name string comment '显示名称',
nickname string comment '昵称',
real_name string comment '真实名称',
source_user_id string comment '用户来源系统ID',
source_type string comment '用户来源系统类型',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
mail string comment '电子邮箱',
creator_id string comment '创建者Dataphin用户ID',
creator_name string comment '创建者Dataphin账号名称',
modifier_id string comment '修改者Dataphin用户ID',
modifier_name string comment '修改者Dataphin账号名称',
user_status string comment '用户状态,NORMAL:正常(默认值),DELETE:删除,DEACTIVATE:失效',
system_role_list string comment '系统角色列表,逗号分隔,DATASOURCE_MANAGER:数据源管理员,DATA_STANDARD_MANAGER:数据标准管理员,EXPORT_ADMIN:导入导出管理员,LABELS_BUSINESS_PLANNER:标签规划师,QUALITY_MANAGER:质量管理员,SECURITY_ADMIN:安全管理员,SUPER_ADMIN:超级管理员,SYSTEM_ADMIN:系统管理员'
) comment '租户用户表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_project_user
create table if not exists dim_dataphin_project_user(
tenant_id bigint comment '租户ID',
user_id string comment 'Dataphin用户ID',
account_name string comment '账号名称,生产账号为项目名',
display_name string comment '显示名称',
nickname string comment '昵称',
real_name string comment '真实名称',
project_id bigint comment '项目ID',
project_name string comment '项目名称',
env string comment '环境, DEV/PROD',
role_name string comment '项目角色,PROJECT_OWNER/PROJECT_ADMIN/PROJECT_DEVELOPER/PROJECT_GUEST/PROJECT_ANALYST/PROJECT_PRODUCT/PROJECT_VIEWER/PROJECT_PRODUCT/PROJECT_OPS/PROJECT_BUSINESS_MEMBER',
role_display_name string comment '项目角色显示名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '项目用户表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_security_user_bind
说明
当前仅包含用户与用户组关系。
create table if not exists dim_dataphin_security_user_bind(
tenant_id bigint comment '租户ID',
account_id string comment '账号ID',
account_name string comment '账号名称',
account_type string comment '账号类型',
bind_type string comment '绑定类型,USER_GROUP:用户组',
bind_id string comment '绑定对象ID,与bind_type有关',
bind_env string comment 'PROD/DEV',
bind_name string comment '绑定对象名称',
bind_is_active string comment '绑定对象是否有效,Y/N',
bind_desc string comment '绑定对象描述',
bind_role_name string comment '绑定角色名称',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
modifier_id string comment '修改人ID',
modifier_name string comment '修改人名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment 'dataphin用户绑定关系表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 15;项目
dim_dataphin_project
create table if not exists dim_dataphin_project(
tenant_id bigint comment '租户id',
project_id bigint comment '项目ID',
project_name string comment '项目英文名称',
project_name_cn string comment '项目中文名称',
project_desc string comment '项目描述',
biz_unit_id bigint comment '业务单元ID',
biz_unit_name string comment '业务单元名称',
owner_id string comment '项目所有者ID',
owner_name string comment '项目所有者名称',
project_mode string comment '项目模式,BASIC:基础模式,DEV_PROD:开发/生产模式',
env string comment '项目环境,DEV:开发环境,PROD:生产环境',
ns_tag string comment '空间类型,PUBLIC:中间层,APPLICATION:应用层,BASE:贴源层,GENERAL:通用层',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '项目空间表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_project_compute_engine
create table if not exists dim_dataphin_project_compute_engine(
tenant_id bigint comment '租户id',
project_id bigint comment '项目ID',
project_name string comment '英文名称',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
env string comment '项目环境,DEV:开发环境,PROD:生产环境',
compute_engine_support_type string comment '计算源支持类型,OFFLINE:离线引擎,REALTIME:实时引擎,ANALYTICAL:加速引擎',
compute_engine_desc string comment '计算源描述',
db_type string comment '计算源类型,MAX_COMPUTE/HADOOP/FLINK/ANALYTICDB_FOR_PG/HOLOGRES/VVP',
db_name string comment '计算源的物理空间名称,MAX_COMPUTE/hive为项目名,ADB PG为库名称等',
shema_name string comment 'shema名称',
maxcompute_project_name string comment 'MAX_COMPUTE的项目名称',
end_point string comment '访问地址',
config_plaintext string comment '计算源配置明细,json格式',
owner_id string comment '计算源所有者ID',
owner_name string comment '计算源所有者名称',
deploy_type string comment '部署的方式:数据源的部署方式，公网部署，RDS部署，ECS自建等',
access_type string comment '数据源的访问:公网访问，VPC访问等'
gmt_create string comment '计算源绑定时间',
gmt_modified string comment '计算源修改时间'
) comment '项目空间与计算引擎绑定关系表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;数据源
dim_dataphin_data_source
create table if not exists dim_dataphin_data_source(
tenant_id bigint comment '租户id',
data_source_id bigint comment '数据源ID',
data_source_name string comment '数据源名称',
data_source_desc string comment '数据源描述',
data_source_type string comment '数据源类型,MAX_COMPUTE/MYSQL/SQL_SERVER/HIVE/ONE_SERVICE/POSTGRE_SQL/FTP/EMR_HIVE/ORACLE/HDFS/DRDS/ANALYTICDB/MONGODB/FLINK/ANALYTICDB_FOR_PG/HOLOGRES/HBASE_1_1_X等',
scope string comment '范围,OFFLINE:离线数据源,STREAMING:实时数据源,ALL:离线+实时数据源,DATA_DISTILL:数据萃取数据源,DIP_META_SYNC:元数据仓库数据源',
jdbc_url string comment 'MAX_COMPUTE为endPoint,HIVE/MYSQL/ORACLE/POSTGRE_SQL等为jdbc url',
db_name string comment '计算源的物理空间名称,MAX_COMPUTE/HIVE为项目名,MYSQL/ORACLE等为库名称',
shema_name string comment 'shema名称',
customized_type string comment '用户自定义类型',
env string comment '项目环境,DEV:开发环境,PROD:生产环境',
owner_id string comment '项目所有者ID',
owner_name string comment '项目所有者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
data_source_catalog string comment '数据源编码,以ds_为前缀'
) comment '数据源表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_data_source_config
create table if not exists dim_dataphin_data_source_config(
tenant_id bigint comment '租户id',
data_source_id bigint comment '数据源ID',
data_source_name string comment '数据源名称',
data_source_desc string comment '数据源描述',
data_source_type string comment '数据源类型,MAX_COMPUTE/MYSQL/SQL_SERVER/HIVE/ONE_SERVICE/POSTGRE_SQL/FTP/EMR_HIVE/ORACLE/HDFS/DRDS/ANALYTICDB/MONGODB/FLINK/ANALYTICDB_FOR_PG/HOLOGRES/HBASE_1_1_X等',
env string comment '项目环境,DEV:开发环境,PROD:生产环境',
key_name string comment '范围,OFFLINE:离线数据源,STREAMING:实时数据源,ALL:离线+实时数据源,DATA_DISTILL:数据萃取数据源,DIP_META_SYNC:元数据仓库数据源??',
value string comment 'MAX_COMPUTE为endPoint,HIVE/MYSQL/ORACLE/POSTGRE_SQL等为jdbc url',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '数据源配置表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;数据资产
物理表
dim_dataphin_table
说明
特殊的，如果某张物理表为注册上挂指标的来源表，则is_from_logical字段取值为Y。
create table if not exists dim_dataphin_table(
tenant_id bigint comment '租户id',
project_id bigint comment 'Dataphin项目ID',
project_name string comment 'Dataphin项目名称',
table_name string comment '表名称',
table_comment string comment '表注释',
table_type string comment 'TABLE/VIEW',
is_from_logical string comment '是否是规范产生的物理表,Y/N',
is_partitioned string comment '是否为分区表,Y/N',
last_ddl_time string comment '表DDL最后变更时间',
last_dml_time string comment '表最后数据变更时间',
view_text string comment '视图内容',
physical_data_size bigint comment '表实际占用物理存储大小',
data_size bigint comment '表逻辑存储大小',
create_time string comment '表创建时间',
modify_time string comment '修改时间',
record_num bigint commment '记录数',
life_cycle bigint comment '生命周期,目前仅MaxCompute有',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
env string comment '项目环境,DEV:开发环境,PROD:生产环境',
compute_engine_use_type string comment '计算源使用类型,OFFLINE:离线引擎,REALTIME:实时引擎,ANALYTICAL:加速引擎',
compute_engine_desc string comment '计算源描述',
db_type string comment '计算源类型,max_compute/hadoop/flink/analyticdb_for_pg/HOLOGRES/vvp',
db_name string comment '计算源的物理空间名称,maxCompute/hive为project_name,ADB PG为库名称等',
table_id string comment 'Dataphin表ID,不是必须,与某些系统关联使用',
owner_id string comment '表所有者ID',
owner_name string comment '表所有者名称',
is_external_table string comment '是否外表,Y/N',
schema_name string comment '计算源的schema名称,hologres/adbpg等存在'
) comment '物理表元数据'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_table_partition
说明
特殊的，如果某张物理表为注册上挂指标的来源表，则is_from_logical字段取值为Y。
create table if not exists dim_dataphin_table_partition(
tenant_id bigint comment '租户id',
project_id bigint comment 'Dataphin项目ID',
project_name string comment 'Dataphin项目名称',
table_name string comment '表名称',
partition_name string comment '分区名称',
is_from_logical string comment '是否是规范产生的物理表,Y/N',
last_ddl_time string comment '表DDL最后变更时间',
last_dml_time string comment '表最后数据变更时间',
physical_data_size bigint comment '表实际占用物理存储大小',
data_size bigint comment '表逻辑存储大小',
create_time string comment '创建时间',
modify_time string comment '修改时间',
record_num bigint comment '记录数',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
env string comment '项目环境,DEV:开发环境,PROD:生产环境',
compute_engine_support_type string comment '计算源使用类型,OFFLINE:离线引擎,REALTIME:实时引擎,ANALYTICAL:加速引擎',
compute_engine_desc string comment '计算源描述',
db_type string comment '计算源类型,max_compute/hadoop/flink/analyticdb_for_pg/HOLOGRES/vvp',
db_name string comment '计算源的物理空间名称,maxCompute/hive为project_name,ADB PG为库名称等',
table_id string comment 'Dataphin表ID,不是必须,与某些系统关联使用',
owner_id string comment '表所有者ID',
owner_name string comment '表所有者名称',
schema_name string comment '计算源的schema名称,hologres/adbpg等存在'
) comment '物理表分区元数据'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_column
说明
特殊的，如果某张物理表为注册上挂指标的来源表，则is_from_logical字段取值为Y。
create table if not exists dim_dataphin_column(
tenant_id bigint comment '租户id',
project_id bigint comment 'Dataphin项目ID',
project_name string comment 'Dataphin项目名称',
table_name string comment '表名称',
column_name string comment '列名称',
column_type string comment '列数据类型',
column_comment string comment '列注释或分区键注释',
column_seq bigint comment '列顺序',
is_pk string comment '是否分区字段,Y/N',
is_from_logical string comment '是否是规范产生的物理表,Y/N',
is_partitioned string comment '是否为分区表,Y/N',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
env string comment '项目环境,DEV:开发环境,PROD:生产环境',
compute_engine_support_type string comment '计算源使用类型,OFFLINE:离线引擎,REALTIME:实时引擎,ANALYTICAL:加速引擎',
compute_engine_desc string comment '计算源描述',
db_type string comment '计算源类型,max_compute/hadoop/flink/analyticdb_for_pg/HOLOGRES/vvp',
db_name string comment '计算源的物理空间名称,maxCompute/hive为project_name,ADB PG为库名称等',
table_id string comment 'Dataphin表ID,不是必须,与某些系统关联使用',
owner_id string comment '表所有者ID',
owner_name string comment '表所有者名称',
classify string comment '数据分类,S:公司数据,B:业务数据,C:个人数据,其余为自定义',
security_level string comment '安全等级,L1:对外公开,L2:对内公开,L3:机密数据,L4:绝密数据,其余为自定义'
) comment '物理表字段元数据'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;数据服务
dim_dataphin_service_logic_unit
create table if not exists dim_dataphin_service_logic_unit(
tenant_id bigint comment '租户id',
logic_unit_id bigint comment '服务单元ID',
logic_unit_no string comment '服务单元标识',
logic_unit_name string comment '服务单元名称',
logic_unit_type string comment '服务单元类型,SINGLE_PHYSICAL:单物理表服务单元,MULTI_PHYSICAL:多物理表服务单元,DATAPHIN_LOGIC:Dataphin逻辑表服务单元',
logic_unit_desc string comment '服务单元描述',
model_type string comment '模式,basic:基础模式,prodDev:开发生产模式',
status string comment '1:上线,2:下线',
delete_flag string comment '逻辑删除标志,0表示未删除，1表示删除',
logic_unit_version bigint comment '服务单元版本号',
lock_version bigint comment '版本锁',
group_id bigint comment '所属分组ID',
group_name string comment '分组名称',
record_num bigint comment '返回数据最大条数',
source_tables string comment '来源表,多来源表以分号分隔',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
create_time string comment '创建时间',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
modified_time string comment '最近一次修改时间',
proj_id bigint comment '数据服务项目ID',
proj_name string comment '数据服务项目名称'
) comment '生产环境数据服务单元表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_service_logic_unit_column
create table if not exists dim_dataphin_service_logic_unit_column(
tenant_id bigint comment '租户id',
data_source_id bigint comment '数据源ID',
data_source_type string comment '数据源类型,MYSQL/ADS/ES/HBASE/Oracle/SqlSever/PgSQL/MongoDB/impala/adb3.0',
data_source_name string comment '数据源名称',
data_source_url string comment '数据源地址',
table_name string comment '物理表名',
original_column string comment '原字段',
original_column_type string comment '原字段类型',
mapping_column string comment '映射字段',
column_type string comment '服务单元字段类型',
datetime_format string comment '日期格式',
delete_flag string comment '逻辑删除标志,0表示未删除，1表示删除',
family_name string comment '列簇名称(hbase类型数据源列簇名)',
rowkey_sort string comment '排序(hbase数据源rowkey字段排序)',
rowkey_separator string comment 'hbase的rowkey分隔符',
is_master_table string comment '是否主表,Y/N',
is_relate_column string comment '是否关联字段,Y/N',
logic_unit_id bigint comment '服务单元ID',
logic_unit_no string comment '服务单元ID',
logic_unit_name string comment '服务单元名称',
logic_unit_type string comment '服务单元类型,SINGLE_PHYSICAL:单物理表服务单元,MULTI_PHYSICAL:多物理表服务单元,DATAPHIN_LOGIC:Dataphin逻辑表服务单元',
logic_unit_status string comment '1:上线,2:下线',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
create_time string comment '创建时间',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
modified_time string comment '最近一次修改时间',
proj_id bigint comment '数据服务项目ID',
proj_name string comment '数据服务项目名称'
) comment '生产环境数据服务单元字段表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_service_api
create table if not exists dim_dataphin_service_api (
tenant_id bigint comment '租户id'
,api_id bigint comment 'api ID'
,api_no string comment 'api标识'
,api_name string comment 'api名称'
,request_method string comment '调用方法:GET/LIST'
,update_rate string comment '更新频次:DAY/HOUR/MIN'
,api_desc string comment 'API描述'
,return_type string comment '返回类型:JSON'
,protocol string comment '协议:HTTPS/HTTP/HTTP&HTTPS'
,sql_statement string comment 'sql语句'
,api_version bigint comment 'api版本号'
,lock_version bigint comment '版本锁'
,document_url string comment 'api文档地址'
,create_type string comment '创建类型:SELFDEFINE/GUIDE'
,call_time bigint comment 'API调用次数'
,api_gw_group_id bigint comment 'api网关返回的分组ID'
,api_gw_id string comment 'api网关返回的api唯一标识'
,status string comment '1:上线,2:下线'
,delete_flag string comment '逻辑删除标志,0表示未删除，1表示删除'
,max_return_num bigint comment '返回数据最大条数'
,api_timeout bigint comment 'API超时时间,单位秒'
,logic_unit_no string comment '服务单元ID'
,logic_unit_name string comment '服务单元名称'
,logic_unit_type string comment '服务单元类型,SINGLE_PHYSICAL:单物理表服务单元,MULTI_PHYSICAL:多物理表服务单元,DATAPHIN_LOGIC:Dataphin逻辑表服务单元'
,logic_unit_desc string comment '服务单元描述'
,model_type string comment '模式,basic:基础模式,prodDev:开发生产模式'
,logic_unit_version bigint comment '服务单元版本号'
,group_id bigint comment '所属分组ID'
,group_name string comment '分组名称'
,source_tables string comment '来源表,多来源表以分号分隔'
,api_type string comment 'api类型,NORMAL/DIRECTAPI/LOGICTABLE/COMPOSITEAPI'
,data_source_id bigint comment 'DIRECTAPI:数据源ID'
,data_source_type string comment 'DIRECTAPI:数据源类型,impala/HoloLens'
,data_source_name string comment 'DIRECTAPI:数据源名称'
,biz_unit_name string comment 'LOGICTABLE:业务板块名'
,table_name string comment 'LOGICTABLE:逻辑表名'
,creator_id string comment '创建人ID'
,creator_name string comment '创建人'
,modifier_id string comment '最近一次修改者ID'
,modifier_name string comment '最近一次修改者名称'
,create_time string comment '创建时间'
,modified_time string comment '最近一次修改时间'
,proj_id bigint comment '数据服务项目ID'
,proj_name string comment '数据服务项目名称'
,order_priority string comment '排序优先级，sql_script，仅脚本生效，ORDER_BY_LIST，同时生效'
,is_paged_query bigint comment '结果分页，0为结果分页开启，1为关闭'
,order_by_list string comment '排序字段'
)
comment '数据服务API表'
partitioned by (
ds string comment '分区字段,yyyymmdd'
)
lifecycle 30;dim_dataphin_service_api_param
create table if not exists dim_dataphin_service_api_param
(
id bigint comment '自增id，唯一键',
tenant_id bigint comment '租户ID',
api_id bigint comment '关联dim_dataphin_service_api的app_id',
api_no string comment 'api标识',
api_name string comment 'api名称',
param_name string comment '参数名称',
param_type string comment '参数类型',
type bigint comment '参数种类:1.返回参数、2.请求参数、3.公共参数（系统默认的入参，如分页参数、排序参数等）',
sample string comment '参数示例',
param_desc string comment '参数描述',
must bigint comment '参数是否必填:0.非必填、1.必填',
date_format string comment '日期格式',
operator string comment '操作符',
mapping_column string comment '原字段(指服务单元字段名称，非数据库字段，API向导模式取别名)',
api_request_method string comment '调用方法:GET/LIST，同im_dataphin_service_api的request_method',
api_desc string comment 'API描述',
api_create_type string comment '创建类型:SELFDEFINE/GUIDE/DIRECTAPI，同im_dataphin_service_api的create_type',
api_status string comment 'API状态，1:上线,2:下线，同im_dataphin_service_api的status',
api_delete_flag string comment 'API逻辑删除标志,0表示未删除，1表示删除，同im_dataphin_service_api的delete_flag',
create_person_id string comment '创建人ID',
create_person string comment '创建人名称',
create_time string comment '创建时间',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
modified_time string comment '最近一次修改时间',
delete_flag string comment '逻辑删除标志,0表示未删除，1表示删除',
proj_id bigint comment '数据服务项目ID',
proj_name string comment '数据服务项目名称'
)comment '数据服务API参数表'
partitioned by (ds string comment '业务日期:yyyymmdd')
lifecycle 30;dim_dataphin_service_app
create table if not exists dim_dataphin_service_app(
tenant_id bigint comment '租户id',
app_id bigint comment 'app ID',
app_name string comment 'app名称',
app_key bigint comment 'AppKey',
app_gw_id string comment 'api网关返回的api唯一标识',
env string comment '环境标识:1:预发,2:生产',
group_id bigint comment '分组ID',
group_name string comment '分组名称',
app_secret string comment 'sk值,不使用网关的情况由mgmt产生这个值',
enable_white_list string comment '是否启用白名单：1禁用，2启用',
white_list string comment 'ip白名单列表',
delete_flag string comment '逻辑删除标志,0表示未删除，1表示删除',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
create_time string comment '创建时间',
modified_time string comment '最近一次修改时间',
proj_id bigint comment '数据服务项目ID',
proj_name string comment '数据服务项目名称'
) comment '数据服务APP表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_service_app_api
create table if not exists dim_dataphin_service_app_api(
tenant_id bigint comment '租户id',
api_id bigint comment 'api id',
api_no string comment 'api标识',
api_name string comment 'api名称',
api_version bigint comment 'api版本号',
app_id bigint comment 'app ID',
app_name string comment 'app名称',
app_key bigint comment 'AppKey',
app_gw_id string comment 'api网关返回的api唯一标识',
delete_flag string comment '逻辑删除标志,0表示未删除，1表示删除',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
create_time string comment '创建时间',
modified_time string comment '最近一次修改时间',
proj_id bigint comment '数据服务项目ID',
proj_name string comment '数据服务项目名称'
) comment '数据服务APP与API关系表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dws_dataphin_service_api_mi
create table if not exists dws_dataphin_service_api_mi(
tenant_id bigint comment '租户id',
api_no string comment 'api标识',
api_name string comment 'api名称',
minute string comment '统计时间,yyyy_MMdd_HHmm',
app_key string comment 'APP_KEY',
client_ip string comment '客户端IP',
total_count bigint comment '调用总数',
offline_count bigint comment '离线数',
client_fail_count bigint comment '客户端失败数',
total_time_cost bigint comment '接口总耗时(包括失败的)',
total_succ_time_cost bigint comment '成功调用的总耗时',
api_ex_count bigint comment 'api调用异常数'
)comment '数据服务API调用分钟级别统计表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 90;dim_dataphin_service_api_direct
create table if not exists dim_dataphin_service_api_direct(
tenant_id bigint comment '租户id',
api_id bigint comment 'api id',
api_no string comment 'api标识',
api_name string comment 'api名称',
model_type string comment '模式,basic:基础模式,prodDev:开发生产模式',
data_source_id bigint comment '数据源ID',
data_source_type string comment '数据源类型,impala/HoloLens',
data_source_name string comment '数据源名称',
delete_flag string comment '逻辑删除标志,0表示未删除，1表示删除',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
create_time string comment '创建时间',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
modified_time string comment '最近一次修改时间',
proj_id bigint comment '数据服务项目ID',
proj_name string comment '数据服务项目名称'
) comment '直连数据源API表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;血缘
dim_dataphin_lineage_node_column
说明
节点+输入表+输入字段+输出表+输出字段。
create table if not exists dim_dataphin_lineage_node_column(
tenant_id bigint comment '租户id',
node_id string comment '节点ID',
node_name string comment '节点名称',
node_env string comment '节点环境,PROD/DEV',
node_operator_type string comment '任务操作类型 DATAX/DLINK/ONE_SERVICE_SQL/VIRTUAL/PYTHON/SHELL',
lineage_type string comment '血缘类型,SELECT/OTHER',
input_column_id string comment '输入字段ID',
input_column_name string comment '输入字段名',
output_column_id string comment '输出字段ID',
output_column_name string comment '输出字段名',
input_table_id string comment '输入表ID',
input_table_type string comment '输入表类型 PHYSICAL_TABLE/DIM_LOGIC_TABLE/FACT_LOGIC_TABLE/SUM_LOGIC_TABLE/REAL_TIME_LOGIC_TABLE',
input_table_name string comment '输入表名',
input_data_domain_id bigint comment '输入表数据域ID',
input_data_domain_name string comment '输入表数据域名称',
input_data_domain_abbreviation string comment '输入表数据域简称',
input_data_domain_name_cn string comment '输入表数据域中文名',
output_table_id string comment '输出表ID',
output_table_type string comment '输出表类型 PHYSICAL_TABLE/DIM_LOGIC_TABLE/FACT_LOGIC_TABLE/SUM_LOGIC_TABLE/REAL_TIME_LOGIC_TABLE',
output_table_name string comment '输出表名',
output_data_domain_id bigint comment '输出表数据域ID',
output_data_domain_name string comment '输出表数据域名称',
output_data_domain_abbreviation string comment '输出表数据域简称',
output_data_domain_name_cn string comment '输出表数据域中文名',
input_project_id bigint comment '输入项目空间ID',
input_project_name string comment '输入项目空间英文名',
input_project_cn_name string comment '输入项目空间中文名',
input_project_ns_tag string comment '输入项目空间类型 BASE/PUBLIC/APPLICATION',
output_project_id bigint comment '输出项目空间ID',
output_project_name string comment '输出项目空间英文名',
output_project_cn_name string comment '输出项目空间中文名',
output_project_ns_tag string comment '输出项目空间类型 BASE/PUBLIC/APPLICATION',
input_biz_unit_id bigint comment '输入业务板块ID',
input_biz_unit_name string comment '输入业务板块名称',
output_biz_unit_id bigint comment '输出业务板块ID',
output_biz_unit_name string comment '输出业务板块名称',
input_env string comment '输入环境 PROD/DEV',
output_env string comment '输出环境 PROD/DEV',
-- input_data_source_id bigint comment '输入数据源ID',
-- input_data_source_type string comment '输出数据源类型',
-- input_data_source_name string comment '输出数据源名称',
-- output_data_source_id bigint comment '输出数据源ID',
-- output_data_source_type string comment '输出数据源类型',
-- output_data_source_name string comment '输出数据源名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment '节点+输入表+输入字段+输出表+输出字段 粒度血缘关系'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_lineage_node_table
说明
节点+输入表+输出表粒度血缘关系。
create table if not exists dim_dataphin_lineage_node_table(
tenant_id bigint comment '租户id',
node_id string comment '节点ID',
node_name string comment '节点名称',
node_env string comment '节点环境,PROD/DEV',
node_operator_type string comment '任务操作类型 DATAX/DLINK/ONE_SERVICE_SQL/VIRTUAL/PYTHON/SHELL',
input_table_id string comment '输入表ID',
input_table_type string comment '输入表类型 PHYSICAL_TABLE/DIM_LOGIC_TABLE/FACT_LOGIC_TABLE/SUM_LOGIC_TABLE/REAL_TIME_LOGIC_TABLE',
input_table_name string comment '输入表名',
input_data_domain_id bigint comment '输入表数据域ID',
input_data_domain_name string comment '输入表数据域名称',
input_data_domain_abbreviation string comment '输入表数据域简称',
input_data_domain_name_cn string comment '输入表数据域中文名',
output_table_id string comment '输出表ID',
output_table_type string comment '输出表类型 PHYSICAL_TABLE/DIM_LOGIC_TABLE/FACT_LOGIC_TABLE/SUM_LOGIC_TABLE/REAL_TIME_LOGIC_TABLE',
output_table_name string comment '输出表名',
output_data_domain_id bigint comment '输出表数据域ID',
output_data_domain_name string comment '输出表数据域名称',
output_data_domain_abbreviation string comment '输出表数据域简称',
output_data_domain_name_cn string comment '输出表数据域中文名',
input_project_id bigint comment '输入项目空间ID',
input_project_name string comment '输入项目空间英文名',
input_project_cn_name string comment '输入项目空间中文名',
input_project_ns_tag string comment '输入项目空间类型 BASE/PUBLIC/APPLICATION',
output_project_id bigint comment '输出项目空间ID',
output_project_name string comment '输出项目空间英文名',
output_project_cn_name string comment '输出项目空间中文名',
output_project_ns_tag string comment '输出项目空间类型 BASE/PUBLIC/APPLICATION',
input_biz_unit_id bigint comment '输入业务板块ID',
input_biz_unit_name string comment '输入业务板块名称',
output_biz_unit_id bigint comment '输出业务板块ID',
output_biz_unit_name string comment '输出业务板块名称',
input_env string comment '输入环境 PROD/DEV',
output_env string comment '输出环境 PROD/DEV',
-- input_data_source_id bigint comment '输入数据源ID',
-- input_data_source_type string comment '输出数据源类型',
-- input_data_source_name string comment '输出数据源名称',
-- output_data_source_id bigint comment '输出数据源ID',
-- output_data_source_type string comment '输出数据源类型',
-- output_data_source_name string comment '输出数据源名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment '节点+输入表+输出表 粒度血缘关系'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_lineage_table
说明
输入表+输出表。
create table if not exists dim_dataphin_lineage_table(
tenant_id bigint comment '租户id',
input_table_id string comment '输入表ID',
input_table_type string comment '输入表类型 PHYSICAL_TABLE/DIM_LOGIC_TABLE/FACT_LOGIC_TABLE/SUM_LOGIC_TABLE/REAL_TIME_LOGIC_TABLE',
input_table_name string comment '输入表名',
input_data_domain_id bigint comment '输入表数据域ID',
input_data_domain_name string comment '输入表数据域名称',
input_data_domain_abbreviation string comment '输入表数据域简称',
input_data_domain_name_cn string comment '输入表数据域中文名',
output_table_id string comment '输出表ID',
output_table_type string comment '输出表类型 PHYSICAL_TABLE/DIM_LOGIC_TABLE/FACT_LOGIC_TABLE/SUM_LOGIC_TABLE/REAL_TIME_LOGIC_TABLE',
output_table_name string comment '输出表名',
output_data_domain_id bigint comment '输出表数据域ID',
output_data_domain_name string comment '输出表数据域名称',
output_data_domain_abbreviation string comment '输出表数据域简称',
output_data_domain_name_cn string comment '输出表数据域中文名',
input_project_id bigint comment '输入项目空间ID',
input_project_name string comment '输入项目空间英文名',
input_project_cn_name string comment '输入项目空间中文名',
input_project_ns_tag string comment '输入项目空间类型 BASE/PUBLIC/APPLICATION',
output_project_id bigint comment '输出项目空间ID',
output_project_name string comment '输出项目空间英文名',
output_project_cn_name string comment '输出项目空间中文名',
output_project_ns_tag string comment '输出项目空间类型 BASE/PUBLIC/APPLICATION',
input_biz_unit_id bigint comment '输入业务板块ID',
input_biz_unit_name string comment '输入业务板块名称',
output_biz_unit_id bigint comment '输出业务板块ID',
output_biz_unit_name string comment '输出业务板块名称',
input_env string comment '输入环境 PROD/DEV',
output_env string comment '输出环境 PROD/DEV',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment '输入表+输出表 粒度血缘关系'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;安全
dim_dataphin_security_classify
create table if not exists dim_dataphin_security_classify(
tenant_id bigint comment '租户ID',
classify_id bigint comment '分类ID',
classify_name string comment '分类名称',
classify_short_name string comment '分类简称',
classify_desc string comment '分类描述',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
status string comment '分类状态,ENABLE/DISABLE',
level_id bigint comment '分级ID',
level_name string comment '分级名称',
level_index bigint comment '分级级别',
parent_path string comment '存储分类目录的路径'
)comment '安全数据分类表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_security_level
create table if not exists dim_dataphin_security_level(
tenant_id bigint comment '租户ID',
level_id bigint comment '分级ID',
level_name string comment '分级名称',
level_short_name string comment '分级简称',
level_desc string comment '分级描述',
level_index bigint comment '分级级别',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment '安全数据等级表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_security_identify_rule
create table if not exists dim_dataphin_security_identify_rule(
tenant_id bigint comment '租户ID',
identify_rule_id bigint comment '识别规则ID',
identify_rule_name string comment '识别规则名称',
biz_unit_scope_type string comment '废弃字段[v3.11] 业务板块范围,ALL:所有,ENUMS:枚举,EXPRESSION:表达式',
biz_unit_ids string comment '废弃字段[v3.11] 枚举业务板块ID',
custom_biz_unit_expression string comment '废弃字段[v3.11] 块名称匹配正则',
project_scope_type string comment '废弃字段[v3.11] 项目范围,ALL:所有,ENUMS:枚举,EXPRESSION:表达式',
project_ids string comment '废弃字段[v3.11] 枚举项目ID',
custom_project_expression string comment '废弃字段[v3.11] 项目名称匹配正则',
table_scope_type string comment '废弃字段[v3.11] 表范围,ALL:所有,ENUMS:枚举,EXPRESSION:表达式',
custom_table_expression string comment '废弃字段[v3.11] 表名称匹配正则',
enable_by_content string comment '废弃字段[v3.11] 开启内容识别',
content_method_name string comment '废弃字段[v3.11] 内容识别方法名称',
custom_content_expression string comment '废弃字段[v3.11] 自定义内容识别正则',
enable_by_field_name string comment '废弃字段[v3.11] 开启字段名识别',
custom_field_name_expression string comment '废弃字段[v3.11] 自定义字段名识别正则',
priority_level bigint comment '优先级',
status string comment '状态,ENABLE:启用状态,DISABLE:禁用状态',
level_id bigint comment '废弃字段[v3.11] 分级ID',
level_name string comment '废弃字段[v3.11] 分级名称',
level_index bigint comment '废弃字段[v3.11] 分级级别',
classify_id bigint comment '分类ID',
classify_name string comment '分类名称',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
classify_ids string comment '分类ID列表,逗号分隔'
)comment '安全识别规则表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_security_label
create table if not exists dim_dataphin_security_label (
tenant_id bigint comment '租户ID'
,label_id string comment '识别标签ID'
,identify_rule_id string comment '识别规则ID'
,identify_rule_name string comment '识别规则名称'
,identify_rate double comment '识别率'
,identify_is_custom string comment '自定义识别规则,TRUE/FALSE'
,biz_unit_id bigint comment '业务板块ID'
,biz_unit_name string comment '业务板块名称'
,project_id bigint comment '项目ID'
,project_name string comment '项目名称'
,table_id string comment '表ID,对应dim_dataphin_table表的table_id'
,table_catalog string comment '表的项目或者板块名'
,table_name string comment '表名'
,table_desc string comment '表描述'
,table_partitioned string comment '是否分区表,TRUE|FALSE'
,table_type string comment '表类型,LOGIC_TABLE:逻辑表,LOGIC_DIM_TABLE:维度逻辑表,LOGIC_FACT_TABLE:事实逻辑表,LOGIC_SUM_TABLE:汇总逻辑表,PHYSICAL_TABLE:物理表,REALTIME_LOGICAL_TABLE:实时元表'
,table_env string comment '表环境 PROD/DEV'
,field_id string comment '字段ID,对应dim_dataphin_table表的column_id'
,field_name string comment '字段名称'
,field_desc string comment '字段描述'
,biz_date string comment 'biz_date'
,status string comment '状态,ENABLE:启用状态,DISABLE:禁用状态'
,level_id bigint comment '等级ID'
,level_name string comment '等级名称'
,level_index bigint comment '等级'
,classify_id bigint comment '分类ID'
,classify_name string comment '分类名称'
,creator_id string comment '创建人ID'
,creator_name string comment '创建人'
,modifier_id string comment '最近一次修改者ID'
,modifier_name string comment '最近一次修改者名称'
,gmt_create string comment '创建时间'
,gmt_modified string comment '修改时间'
,classfy_parent_path string comment '分类目录名称'
,classfy_level1_path string comment '分类一级目录名称'
,record_from string comment '识别结果的来源,CUSTOM:手动指定,AUTO_SCAN:自动识别,AUTO_INHERIT:自动继承'
,field_from string comment '来源字段名称列表,record_from=2时有值,逗号分隔'
)
comment '安全识别记录表'
partitioned by (
ds string comment '分区字段,yyyymmdd'
)
lifecycle 30;dim_dataphin_security_desensitize_rule
create table if not exists dim_dataphin_security_desensitize_rule(
tenant_id bigint comment '租户ID',
desensitize_rule_id bigint comment '脱敏规则ID',
desensitize_rule_name string comment '脱敏规则名称',
identify_rule_id bigint comment '废弃字段[v3.11] 识别规则ID',
identify_rule_name string comment '废弃字段[v3.11] 识别规则名称',
enable_by_temp_query string comment '开启即席查询脱敏',
enable_by_read_write string comment '开启写开发表脱敏',
algorithm_type string comment '算法类型',
algorithm_code string comment '算法代码',
rule_method_text_param string comment '算法文本参数',
rule_method_selected_param string comment '算法密钥参数',
status string comment '状态,ENABLE:启用状态,DISABLE:禁用状态',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
classify_id bigint comment '分类ID',
classify_name string comment '分类名称'
)comment '安全脱敏规则表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_security_desensitize_rule_white_list
create table if not exists dim_dataphin_security_desensitize_rule_white_list(
tenant_id bigint comment '租户ID',
desensitize_white_list_rule_id bigint comment '白名单规则ID',
identify_rule_id bigint comment '废弃字段[v3.11] 识别规则ID',
identify_rule_name string comment '废弃字段[v3.11] 识别规则名称',
filter_account string comment '过滤账号列表',
filter_by_temp_query string comment '开启过滤即席查询',
filter_by_read_write string comment '开启过滤写开发',
biz_unit_scope_type string comment '业务板块范围,ALL:所有,ENUMS:枚举,EXPRESSION:表达式',
biz_unit_ids string comment '废弃字段[v3.11] 枚举业务板块ID',
custom_biz_unit_expression string comment '块名称匹配正则',
project_scope_type string comment '项目范围,ALL:所有,ENUMS:枚举,EXPRESSION:表达式',
project_ids string comment '废弃字段[v3.11] 枚举项目ID',
custom_project_expression string comment '项目名称匹配正则',
table_scope_type string comment '表范围,ALL:所有,ENUMS:枚举,EXPRESSION:表达式',
custom_table_expression string comment '废弃字段[v3.11] 表名称匹配正则',
start_time string comment '生效开始时间',
end_time string comment '生效结束时间',
identify_rule_exists string comment '识别规则是否存在',
status string comment '状态,ENABLE:启用状态,DISABLE:禁用状态',
owner_id string comment '所有者ID',
owner_name string comment '所有者名称',
creator_id string comment '创建人ID',
creator_name string comment '创建人',
modifier_id string comment '最近一次修改者ID',
modifier_name string comment '最近一次修改者名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
classify_id bigint comment '分类ID',
classify_name string comment '分类名称'
)comment '安全脱敏规则白名单表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;质量
dim_dataphin_dp_quality_watch
create table if not exists dim_dataphin_dp_quality_watch
(
tenant_id bigint comment '租户ID',
watch_id bigint comment '监控对象ID',
watch_type string comment '监控对象类型,INDEX:指标监控,TABLE:Dataphin表监控,REALTIME_LOGICAL_TABLE:实时元表监控,DATASOURCE:数据源监控,DATASOURCE_TABLE:全域表监控',
table_id string comment '表id,watch_type=TABLE&table_type=PHYSICAL_TABLE:dim_dataphin_table表;watch_type in(TABLE,INDEX)&is_logical_table:dim_dataphin_model',
table_type string comment '表类型,LOGIC_DIM_TABLE:维度逻辑表,LOGIC_FACT_TABLE:事实逻辑表,LOGIC_SUM_TABLE,汇总逻辑表,LOGIC_LABEL_TABLE:标签逻辑表,PHYSICAL_TABLE:物理表,REALTIME_LOGICAL_TABLE:实时逻辑表',
is_logical_table string comment '是否逻辑表,Y/N',
table_env string comment '表环境',
table_name string comment '表名称',
table_catalog string comment '表分组,watch_type=TABLE&table_type=PHYSICAL_TABLE:project_name;watch_type in(TABLE,INDEX)&is_logical_table:biz_unit_name',
table_description string comment '表描述',
table_is_partitioned string comment '是否分区表,Y/N',
table_owner_id string comment '表负责人ID',
table_owner_name string comment '表负责人名称',
biz_unit_id bigint comment '表归属业务板块ID',
biz_unit_name string comment '表归属业务板块名称',
project_id bigint comment '表归属项目ID',
project_name string comment '表归属项目名称',
data_source_id bigint comment '数据源ID,dim_dataphin_data_source表的data_source_id',
data_source_type string comment '数据源类型,枚举值见dim_dataphin_data_source表的data_source_type',
data_source_env string comment '数据源环境',
data_source_name string comment '数据源名称',
data_source_scope string comment '数据源适用范围',
data_source_owner string comment '数据源负责人',
data_source_from string comment '数据源来源',
index_id string comment '指标ID,watch_type=INDEX:dim_dataphin_derived_index表的派生指标guid',
index_name string comment '指标名称',
index_name_cn string comment '指标中文名',
index_env string comment '指标环境',
index_owner string comment '指标责任人',
index_sum_logic_table_name string comment '指标汇总逻辑表名',
index_desc string comment '指标描述',
index_compute_type string comment '指标计算类型',
index_granularity_id bigint comment '指标粒度ID',
index_granularity_cn string comment '指标粒度中文',
index_period_attribute string comment '指标时间属性',
index_catalog string comment '通常为业务板块名称',
quality_owner_id string comment '质量负责人ID',
quality_owner_name string comment '质量负责人名称',
watch_status string comment '生效状态, ENABLE:开启,DISABLE:关闭',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
gmt_create string comment '创建时间',
modifier_id string comment '最近修改人Id',
modifier_name string comment '最近修改人名称',
gmt_modified string comment '最近修改时间'
) comment '质量监控对象表'
partitioned by (ds string comment '分区字段')
lifecycle 30;dim_dataphin_dp_quality_rule
说明
如需要数据源或数据源表或指标等监控对象的详细信息，可以通过tenant_id/watch_id关联dim_dataphin_dp_quality_watch表获取。
create table if not exists dim_dataphin_dp_quality_rule (
tenant_id bigint comment '租户ID'
,rule_id bigint comment '规则ID'
,rule_name string comment '规则名称'
,strength string comment '规则强弱程度,STRONG:强,WEAK:弱'
,rule_desc string comment '规则描述'
,rule_catalogs string comment '规则分类标签列表,逗号分隔,CONSISTENT:一致性,EFFECTIVE:有效性,TIMELINESS:及时性,ACCURATE:准确性,UNIQUENESS:唯一性,COMPLETENESS:完整性,STABILITY:稳定性,CUSTOM:自定义'
,template_id bigint comment '模板ID'
,template_type string comment '模板类型'
,template_name string comment '模板名称'
,watch_id bigint comment '监控表ID'
,watch_type string comment '监控对象类型,INDEX:指标监控,TABLE:Dataphin表监控,REALTIME_LOGICAL_TABLE:实时元表监控,DATASOURCE:数据源监控,DATASOURCE_TABLE:全域表监控'
,table_id string comment '表id,watch_type=TABLE&table_type=PHYSICAL_TABLE:dim_dataphin_table表;watch_type in(TABLE,INDEX)&is_logical_table:dim_dataphin_model'
,table_type string comment '表类型,LOGIC_DIM_TABLE:维度逻辑表,LOGIC_FACT_TABLE:事实逻辑表,LOGIC_SUM_TABLE,汇总逻辑表,LOGIC_LABEL_TABLE:标签逻辑表,PHYSICAL_TABLE:物理表,REALTIME_LOGICAL_TABLE:实时逻辑表'
,is_logical_table string comment '是否逻辑表,Y/N'
,table_env string comment '表环境,PROD/DEV'
,table_name string comment '表名称'
,table_catalog string comment '表分组,watch_type=TABLE&table_type=PHYSICAL_TABLE:project_name;watch_type in(TABLE,INDEX)&is_logical_table:biz_unit_name'
,table_description string comment '表描述'
,table_is_partitioned string comment '是否分区表,Y/N'
,biz_unit_id bigint comment '表归属业务板块ID'
,biz_unit_name string comment '表归属业务板块名称'
,project_id bigint comment '表归属项目ID'
,project_name string comment '表归属项目名称'
,validate_object_type string comment '校验对象类型,TABLE:表规则,COLUMN:字段规则,DATASOURCE:数据源类型规则,TABLE:数据源中表监控规则,REALTIME:实时规则,INDEX:指标类型规则,CHAIN:离线链路,UNKNOWN:未知类型'
,validate_object_name string comment '校验对象类名称'
,rule_properties string comment '动态模板规则配置键值对'
,enable_error_archive string comment '是否开启异常归档,Y/N'
,validate_condition string comment '校验条件'
,rule_status string comment '规则状态，ENABLE:开启,DISABLE:关闭'
,schedule_ids string comment '绑定的调度ID列表'
,alert_id bigint comment '告警设置ID'
,alert_scope string comment 'WATCH/RULE'
,alert_users string comment '告警用户ID,格式为json'
,alert_users_channels string comment '告警用户渠道,VOICE:语音提醒,SMS:短信提醒,MAIL:邮件提醒,DINGTALK_ROBOT:钉钉机器人,DINGDING:钉钉.格式为json'
,alert_duties string comment '告警值班表'
,alert_duties_channels string comment '告警值班表渠道,枚举同alert_users_channels'
,alert_quality_owner string comment '质量负责人告警,Y/N'
,alert_quality_owner_channels string comment '质量负责人告警渠道,枚举同alert_users_channels'
,creator_id string comment '创建人ID'
,creator_name string comment '创建人名称'
,gmt_create string comment '创建时间'
,modifier_id string comment '最近修改人Id'
,modifier_name string comment '最近修改人名称'
,gmt_modified string comment '最近修改时间'
,tag string comment '业务标签:DATA_STANDARD_MANUAL/DATA_STANDARD_AUTO/PIPELINE'
,tag_unique_key string comment 'tag的业务唯一标识'
,tag_properties string comment 'tag的额外属性,json格式'
,archive_mode string comment '归档模式:ERROR'
,archive_store_type string comment '归档模式:FILE_SYSTEM'
,archive_table_name string comment '归档表名称',
data_source_id bigint comment '数据源ID',
data_source_type string comment '数据源类型',
data_source_name string comment '数据源名称',
attribute_config string comment '业务属性信息,kv结构,等号和分号分隔,其中属性值仅包含自定义、下拉单选、下拉多选，不包括区间'
)
comment '质量规则表'
partitioned by (
ds string comment '分区字段'
)
lifecycle 30;fct_dataphin_dp_quality_rule_task_di
create table if not exists fct_dataphin_dp_quality_rule_task_di
(
tenant_id bigint comment '租户ID',
rule_task_id bigint comment '规则任务ID',
watch_task_id bigint comment '归属的监控表任务ID',
watch_id bigint comment '监控对象ID',
watch_detail string comment '监控对象',
watch_type string comment '监控对象类型',
watch_task_status string comment '状态，WAITING,RUNNING,SUCCESS,FAILED',
data_source_id bigint comment '数据源ID',
data_source_type string comment '数据源类型',
data_source_scope string comment '数据源用途',
data_source_owner string comment '数据源负责人',
table_catalog string comment '表catalog',
table_name string comment '表名',
table_type string comment '表类型',
table_owner string comment '表负责人',
biz_unit_name string comment '板块名称',
project_name string comment '项目名称',
template_id bigint comment '规则模板ID',
template_type string comment '规则模板类型',
template_name string comment '规则模板名称',
template string comment '规则模板详情',
rule_id bigint comment '规则ID',
rule_detail string comment '规则详情',
rule_name string comment '规则名称',
rule_strength string comment '规则的强弱程度',
rule_catalogs string comment '规则分类标签列表,逗号分隔,CONSISTENT:一致性,EFFECTIVE:有效性,TIMELINESS:及时性,ACCURATE:准确性,UNIQUENESS:唯一性,COMPLETENESS:完整性,STABILITY:稳定性,CUSTOM:自定义',
validate_object_type string comment '规则校验对象类型',
validate_object_name string comment '规则校验对象名称',
biz_date string comment '业务日期',
biz_date_format string comment '业务日期格式',
quality_owner_id string comment '质量负责人ID',
quality_owner_name string comment '质量负责人名称',
rule_task_status string comment '状态，WAITING,RUNNING,SUCCESS,FAILED',
execute_context string comment '规则执行上下文',
is_validate_result string comment '校验规则是否通过,Y/N',
start_time string comment '开始时间',
end_time string comment '结束时间',
error_code string comment '错误代码',
schedule_id bigint comment '调度设置ID',
schedule_type string comment '调度设置类型',
schedule_partition_values string comment '调度分区计算值',
schedule_params string comment '调度参数值',
trace_id string comment '跟踪ID，格式为 类型:id',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
gmt_create string comment '创建时间',
modifier_id string comment '最近修改人Id',
modifier_name string comment '最近修改人名称',
gmt_modified string comment '最近修改时间',
tag string comment '业务标签:DATA_STANDARD_MANUAL/DATA_STANDARD_AUTO/PIPELINE',
tag_unique_key string comment 'tag的业务唯一标识'
) comment '质量规则任务表'
partitioned by (ds string comment '分区字段')
lifecycle 90
;dim_dataphin_dp_quality_watch_member
create table if not exists dim_dataphin_dp_quality_watch_member
(
tenant_id bigint comment '租户ID',
watch_id bigint comment '监控对象ID',
watch_type string comment '监控对象类型,INDEX:指标监控,TABLE:Dataphin表监控,REALTIME_LOGICAL_TABLE:实时元表监控,DATASOURCE:数据源监控,DATASOURCE_TABLE:全域表监控',
watch_status string comment '生效状态, ENABLE:开启,DISABLE:关闭',
user_id string comment '用户ID',
user_name string comment '用户名称',
user_type string comment '成员类型，QUALITY_OWNER',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
gmt_create string comment '创建时间',
modifier_id string comment '最近修改人Id',
modifier_name string comment '最近修改人名称',
gmt_modified string comment '最近修改时间'
) comment '质量监控对象负责人表'
partitioned by (ds string comment '分区字段')
lifecycle 30;dim_dataphin_dp_quality_watch_alert
create table if not exists dim_dataphin_dp_quality_watch_alert
(
tenant_id bigint comment '租户ID',
alert_id bigint comment '告警设置ID,仅保存规则范围为所有规则的告警配置. 其余配置见dim_dataphin_dp_quality_watch_alert',
alert_name string comment '告警名称',
alert_scope string comment 'WATCH',
alert_users string comment '告警用户ID,格式为json',
alert_users_channels string comment '告警用户渠道,VOICE:语音提醒,SMS:短信提醒,MAIL:邮件提醒,DINGTALK_ROBOT:钉钉机器人,DINGDING:钉钉.格式为json',
alert_duties string comment '告警值班表',
alert_duties_channels string comment '告警值班表渠道,枚举同alert_users_channels',
alert_quality_owner string comment '质量负责人告警,Y/N',
alert_quality_owner_channels string comment '质量负责人告警渠道,枚举同alert_users_channels',
custom_alert_scope string comment '自定义告警范围,json格式,包含规则id和name',
sort_index bigint comment '排序依据',
watch_id bigint comment '监控表ID',
watch_type string comment '监控对象类型,INDEX:指标监控,TABLE:Dataphin表监控,REALTIME_LOGICAL_TABLE:实时元表监控,DATASOURCE:数据源监控,DATASOURCE_TABLE:全域表监控',
table_id string comment '表id,watch_type=TABLE&table_type=PHYSICAL_TABLE:dim_dataphin_table表;watch_type in(TABLE,INDEX)&is_logical_table=Y:dim_dataphin_model',
table_type string comment '表类型,LOGIC_DIM_TABLE:维度逻辑表,LOGIC_FACT_TABLE:事实逻辑表,LOGIC_SUM_TABLE,汇总逻辑表,LOGIC_LABEL_TABLE:标签逻辑表,PHYSICAL_TABLE:物理表,REALTIME_LOGICAL_TABLE:实时逻辑表',
table_env string comment '表环境,PROD/DEV',
table_name string comment '表名称',
table_catalog string comment '表分组,watch_type=TABLE&table_type=PHYSICAL_TABLE:project_name;watch_type in(TABLE,INDEX)&is_logical_table:biz_unit_name',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
gmt_create string comment '创建时间',
modifier_id string comment '最近修改人Id',
modifier_name string comment '最近修改人名称',
gmt_modified string comment '最近修改时间'
) comment '质量监控对象告警配置表'
partitioned by (ds string comment '分区字段')
lifecycle 90
;
fct_dataphin_dp_quality_rule_score_di
create table if not exists fct_dataphin_dp_quality_rule_score_di
(
id bigint comment '自增ID',
tenant_id bigint comment '租户ID',
rule_id bigint comment '规则ID',
rule_name string comment '规则名称',
rule_catalogs string comment '规则分类标签列表',
rule_weight bigint comment '监控表计分权重',
rule_score double comment '规则质量分',
strength string comment '规则强弱程度,STRONG:强,WEAK:弱',
template_id bigint comment '模板ID',
template_type string comment '模板类型',
template_name string comment '模板名称',
template_cn_name string comment '模板中文名称',
watch_id bigint comment '监控表ID',
watch_type string comment '监控对象类型,INDEX:指标监控,TABLE:Dataphin表监控,REALTIME_LOGICAL_TABLE:实时元表监控,DATASOURCE:数据源监控,DATASOURCE_TABLE:全域表监控',
watch_weight bigint comment '规则计分权重',
table_id string comment '表id,watch_type=TABLE&table_type=PHYSICAL_TABLE:dim_dataphin_table表;watch_type in(TABLE,INDEX)&is_logical_table=Y:dim_dataphin_model',
table_type string comment '表类型,LOGIC_DIM_TABLE:维度逻辑表,LOGIC_FACT_TABLE:事实逻辑表,LOGIC_SUM_TABLE,汇总逻辑表,LOGIC_LABEL_TABLE:标签逻辑表,PHYSICAL_TABLE:物理表,REALTIME_LOGICAL_TABLE:实时逻辑表',
is_logical_table string comment '是否逻辑表,Y/N',
table_env string comment '表环境,PROD/DEV',
table_name string comment '表名称',
table_catalog string comment '表分组,watch_type=TABLE&table_type=PHYSICAL_TABLE:project_name;watch_type in(TABLE,INDEX)&is_logical_table:biz_unit_name',
biz_unit_id bigint comment '表归属业务板块ID',
biz_unit_name string comment '表归属业务板块名称',
project_id bigint comment '表归属项目ID',
project_name string comment '表归属项目名称',
validate_object_type string comment '校验对象类型,TABLE:表规则,COLUMN:字段规则,DATASOURCE:数据源类型规则,TABLE:数据源中表监控规则,REALTIME:实时规则,INDEX:指标类型规则,CHAIN:离线链路,UNKNOWN:未知类型',
validate_object_name string comment '校验对象类名称',
rule_status string comment '规则状态，ENABLE:开启,DISABLE:关闭',
biz_date string comment '业务日期,YYYY-MM-DD',
rule_task_id bigint comment '规则执行ID',
rule_task_status string comment '状态，WAITING,RUNNING,SUCCESS,FAILED',
is_validate_result string comment '校验规则是否通过,Y/N',
start_time string comment '开始时间',
end_time string comment '结束时间',
gmt_create string comment '创建时间',
gmt_modified string comment '最近修改时间'
) comment '质量规则打分表'
partitioned by (ds string comment '分区字段')
lifecycle 91
;dim_dataphin_dp_quality_schedule
create table if not exists dim_dataphin_dp_quality_schedule(
tenant_id bigint comment '租户ID',
schedule_id bigint comment '调度ID',
schedule_type string comment '调度类型,STATIC_TASK_TRIGGER:定时调度,TRIGGER_SCHEDULE:固定任务调度,CODE_CHECK_TRIGGER:数据更新触发调度',
schedule_name string comment '调度名称',
watch_id bigint comment '关联监控ID',
watch_type string comment '关联监控类型',
partition_type string comment '分区表达式类型,CUSTOM',
partition_expression string comment '分区表达式',
date_format string comment '日期格式',
trigger_schedule_nodes string comment '触发调度节点',
static_task_trigger_type string comment '固定任务触发方式，ALL_TASKS_FINISHED:所有任务都运行成功后触发,ONE_TASKS_FINISHED:每个任务运行成功后触发,PRE_ONE_TASKS_START:每个任务运行前触发',
cron_expression string comment '定时表达式',
schedule_condition string comment '调度条件,json格式',
validate_partition_type string comment '校验分区范围类型，TASK_REFERRED_PARTITION:任务更新的分区,USER_DEFINED_PARTITION:自定义',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
modifier_id string comment '修改人ID',
modifier_name string comment '修改人名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment '数据质量调度配置'
partitioned by(ds string comment '分区字段,yyyymmdd')
lifecycle 15;标准
dim_dataphin_datastandard_standard
说明
V4.3.1后，支持获取标准与码表关系。
select
tenant_id
,standard_id
,standard_name
,standard_name_en
,standard_code
,standard_status
,get_json_object(attribute_relation, '$.attributeId') as attribute_id --标准属性ID
,get_json_object(attribute_relation, '$.attributeName') as attribute_name --标准属性名称
,get_json_object(attribute_relation, '$.relationType') as relation_type --LOOKUP_TABLE:码表,LOOKUP_TABLE_VALUE:码值
,get_json_object(attribute_relation, '$.lookupTableId') as lookup_table_id --码表ID
,get_json_object(attribute_relation, '$.lookupTableName') as lookup_table_name --码表名称
,get_json_object(attribute_relation, '$.lookupTableCode') as lookup_table_code --码表code
from (
select
split(regexp_replace(regexp_replace(
get_json_object(attributes_with_value_config , '$.attributeLookupTableRelations')
, '\\[|\\]', ''),'(\\}(\t\r\v\f\n)*,)','}abcyugongcba'), 'abcyugongcba') as attribute_lookup_table_relations
,*
from dim_dataphin_datastandard_standard
where ds='${bizdate}'
) json_table
LATERAL VIEW explode(attribute_lookup_table_relations) exploded_table AS attribute_relation
;create table if not exists dim_dataphin_datastandard_standard
(
tenant_id bigint comment '租户ID',
standard_id bigint comment '监控对象ID',
standard_name string comment '标准名称',
standard_name_en string comment '标准英文名称',
standard_code string comment '标准编码',
standard_type string comment '标准类型',
version bigint comment '版本号',
standard_status string comment '标准的状态,NOT_ACTIVATED:尚未生效,ACTIVE:生效中,EXPIRED:已停用, 发布到线上, 但是达到了失效时间',
standard_stage string comment '标准所属的阶段,DEV:草稿态/审批中,发布态,PROD: 已生效/未生效/停用',
standard_set_id bigint comment '标准集ID',
standard_set_name string comment '标准集名称',
basic_info string comment '标准基础信息',
standard_set_reference string comment '标准所属的标准集的引用信息',
attributes_with_value_config string comment '标准的属性配置',
owner_id string comment '负责人ID',
owner_name string comment '负责人名称',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
modifier_id string comment '最后修改人ID',
modifier_name string comment '最后修改人名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
monitor_config string comment '监控配置,json格式',
standard_template_id bigint comment '标准模板ID',
standard_template_name string comment '标准模板名称',
standard_template_reference string comment '标准所属的模板的引用信息'
)comment '标准表'
partitioned by (ds string comment '分区字段')
lifecycle 30;dim_dataphin_datastandard_rule
create table if not exists dim_dataphin_datastandard_rule
(
tenant_id bigint comment '租户ID',
standard_rule_id bigint comment '落标规则ID',
standard_rule_name string comment '落标规则名称',
standard_rule_desc string comment '落标规则描述',
version bigint comment '版本号',
asset_type string comment '资产类型,INDEX:指标,COLUMN:字段',
--standard_set_id bigint comment '标准集ID'（废弃字段）,
--standard_set_name string comment '标准集名称'（废弃字段）,
basic_info string comment '标准基础信息',
evaluate_scope_config string comment '评估范围信息',
mapping_rule_config string comment '落标规则信息',
is_valid string comment '是否生效,Y/N',
owner_id string comment '负责人ID',
owner_name string comment '负责人名称',
creator_id string comment '创建人ID',
creator_name string comment '创建人名称',
modifier_id string comment '最后修改人ID',
modifier_name string comment '最后修改人名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间',
standard_set_ids string comment '标准集ID列表',
standard_template_id bigint comment '标准模板ID',
standard_template_name string comment '标准模板名称'
) comment '标准落标规则表'
partitioned by (ds string comment '分区字段')
lifecycle 30;dim_dataphin_datastandard_rule_asset_relation
说明
标准落标结果推荐使用dim_dataphin_datastandard_asset_relation表， 不推荐使用该表。
映射规则执行时，会先删除历史已经生成的映射关系，再按照当前最新配置重新生成映射关系。如果元仓共享模型任务和落标映射规则任务同时执行，可能会出现部分数据缺失或不一致的情况。
升级V4.3.1后，支持查看已映射关系对应的落标监控结果。
select
tenant_id
,guid
,asset_type
,standard_id
,standard_name
,standard_name_en
,standard_rule_id
,standard_rule_name
,standard_set_id
,standard_set_name
,gmt_create
,monitor_status
,total_monitor_num --总监控规则数量
,passed_monitor_num --通过的监控规则数据量
,get_json_object(single_column_monitor_result, '$.monitorResultStatus') as monitor_result_status --监控结果状态: FAILED:失败,PASSED:通过,NOT_CONFIGURED:未配置,WAIT_EVALUATE:等待评估
,get_json_object(single_column_monitor_result, '$.monitorType') as monitor_type --监控规则类型,METADATA:元数据,QUALITY:数据质量
,get_json_object(single_column_monitor_result, '$.ruleName') as rule_name --规则名称
,get_json_object(single_column_monitor_result, '$.attributeId') as attribute_id --标准属性ID
,get_json_object(single_column_monitor_result, '$.attributeName') as attribute_name --标准属性名称
,get_json_object(single_column_monitor_result, '$.attributeValue') as attribute_value --标准属性值
,get_json_object(single_column_monitor_result, '$.assetColumnValue') as asset_column_value -- 资产对象值,monitor_type='METADATA'时生效
,get_json_object(single_column_monitor_result, '$.qualityRuleId') as quality_rule_id --数据质量规则ID,monitor_type='QUALITY'时生效
,get_json_object(single_column_monitor_result, '$.recentExecuteHistoryId') as quality_rule_task_id --数据质量任务ID,monitor_type='QUALITY'时生效
from (
select
split(regexp_replace(regexp_replace(
get_json_object(monitor_result , '$.simpleSingleColumnMonitorResults')
, '\\[|\\]', ''),'(\\}(\t\r\v\f\n)*,)','}abcyugongcba'), 'abcyugongcba') as all_column_monitor_results
,get_json_object(monitor_result , '$.totalMonitorNum') as total_monitor_num
,get_json_object(monitor_result , '$.passedMonitorNum') as passed_monitor_num
,*
from dim_dataphin_datastandard_rule_asset_relation
where ds='${bizdate}'
) json_table
LATERAL VIEW explode(all_column_monitor_results) exploded_table AS single_column_monitor_result
;create table if not exists dim_dataphin_datastandard_rule_asset_relation
(
tenant_id bigint comment '租户ID',
guid string comment '资产GUID',
asset_type string comment '资产类型,INDEX:指标,COLUMN:字段,其他为自定义',
standard_id bigint comment '标准ID',
standard_name string comment '标准名称',
standard_name_en string comment '标准英文名称',
standard_status string comment '标准的状态,NOT_ACTIVATED:尚未生效,ACTIVE:生效中,EXPIRED:已停用, 发布到线上, 但是达到了失效时间',
standard_rule_id bigint comment '落标规则ID或评估任务ID',
standard_rule_name string comment '落标规则名称,仅job_type为STANDARD_RULE时有值',
standard_set_id bigint comment '标准集ID',
standard_set_name string comment '标准集名称',
gmt_create string comment '创建时间',
gmt_modified string comment '最近修改时间',
asset_snapshot string comment '资产快照',
standard_version bigint comment '标准版本号',
monitor_result string comment '监控结果',
monitor_status string comment '监控结果的状态,NOT_CONFIGURED:未配置,PASSED:监控通过,FAILED:监控失败',
is_latest_rule string comment 'Y/N,对于标准/资产的对应关系,是否最近一次运行的落标规则',
job_type string comment 'STANDARD_RULE:落标规则映射任务,EVALUATE_JOB:落标评估任务'
) comment '标准落标规则与资产映射表'
partitioned by (ds string comment '分区字段')
lifecycle 30;dim_dataphin_datastandard_asset_relation
说明
标准落标结果推荐使用该表。
create table if not exists dim_dataphin_datastandard_asset_relation
(
tenant_id bigint comment '租户ID',
guid string comment '资产GUID',
asset_type string comment '资产类型,INDEX:指标,COLUMN:字段,其他为自定义',
asset_name string comment '资产对象名称',
asset_belong_name string comment '所属资产名称，如果是字段,此处为表的全名',
standard_id bigint comment '标准ID',
standard_name string comment '标准名称',
standard_name_en string comment '标准英文名称',
standard_status string comment '标准的状态,NOT_ACTIVATED:尚未生效,ACTIVE:生效中,EXPIRED:已停用, 发布到线上, 但是达到了失效时间',
standard_set_id bigint comment '标准集ID',
standard_set_name string comment '标准集名称',
gmt_create string comment '创建时间',
gmt_modified string comment '最近修改时间',
standard_template_id bigint comment '标准模板ID',
standard_template_name string comment '标准模板名称'
) comment '标准与资产映射结果表'
partitioned by (ds string comment '分区字段')
lifecycle 90
;dim_dataphin_datastandard_lookup_table
create table if not exists dim_dataphin_datastandard_lookup_table
(
tenant_id bigint comment '租户ID',
lookup_table_id bigint comment '码表id',
lookup_table_name string comment '码表名称',
lookup_table_code string comment '码表编码',
lookup_table_des string comment '码表描述',
lookup_table_value_name string comment '码值代码名称',
lookup_table_value_value string comment '码值代码值',
lookup_table_value_en_name string comment '码值代码英文名',
lookup_table_value_des string comment '码值描述',
lookup_table_directory string comment '码表归属目录',
owner_id string comment '负责人',
owner_name string comment '负责人名称',
creator_id string comment '创建人',
creator_name string comment '创建名称',
modifier_id string comment '最近修改人',
modifier_name string comment '最近修改名称',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)
comment '数据标准-码表对象表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;实时
dim_dataphin_stream_table
create table if not exists dim_dataphin_stream_table
(
tenant_id bigint comment '租户id',
project_id bigint comment '项目id',
project_name string comment '项目名称',
table_name string comment '元表名称',
env string comment '环境,DEV/PROD',
owner_id string comment '表所有者ID',
owner_name string comment '表所有者名称',
compute_engine_id bigint comment '计算源ID',
compute_engine_name string comment '计算源名称',
compute_engine_type string comment '计算源类型,OPEN_FLINK/FLINK/VVP',
data_source_id bigint comment '数据源ID',
data_source_name string comment '数据源名称',
data_source_type string comment '数据源类型,MAX_COMPUTE/MYSQL/SQL_SERVER/HIVE/ONE_SERVICE/POSTGRE_SQL/FTP/EMR_HIVE/ORACLE/HDFS/DRDS/ANALYTICDB/MONGODB/FLINK/ANALYTICDB_FOR_PG/HOLOGRES/HBASE_1_1_X等',
src_table_name string comment '来源表名称',
connector string comment 'connector',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
) comment '实时元表元数据'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 31 ;dim_dataphin_stream_column
create table if not exists dim_dataphin_stream_column
(
tenant_id bigint comment '租户id',
project_id bigint comment '项目id',
project_name string comment '项目名称',
table_name string comment '元表名称',
column_name string comment '列名称',
column_type string comment '列数据类型',
column_comment string comment '列注释或分区键注释',
column_seq bigint comment '列顺序',
raw_column_type string comment '原始列数据类型',
env string comment '环境,DEV/PROD',
create_time string comment '创建时间',
modify_time string comment '修改时间'
) comment '实时元表字段元数据'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 31 ;标签平台
dim_dataphin_featurex_market
create table if not exists dim_dataphin_featurex_market (
tenant_id bigint comment '租户ID',
market_id string comment '市场ID',
market_name string comment '市场名称',
market_type bigint comment '市场类型: 0(共有市场) | 1(私有市场)',
market_desc string comment '市场描述',
owner_id string comment '负责人id',
owner_name string comment '负责人name',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment 'dataphin-标签平台市场信息表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;dim_dataphin_featurex_lineage
create table if not exists dim_dataphin_featurex_lineage (
tenant_id bigint comment '租户ID',
from_id string comment '依赖资源的ID',
from_version bigint comment '依赖资源的版本',
from_type string comment '依赖资源的类型: view | feature | data_source | application | subscription | behavior | cluster | market | project | entity_identity | physical_table | profile | event | view_field',
from_code string comment '依赖资源的code',
from_status bigint comment '依赖资源的状态: -1(发布中) | -3(提交中) | 0(编辑中) | 1(已发布) | 2(已上架) | 3(已提交)',
to_id string comment '依赖资源的ID',
to_type string comment '被依赖资源的类型，枚举类型同from_type',
to_code string comment '依赖资源的code',
to_status bigint comment '被依赖资源的状态，枚举类型同from_status',
gmt_create string comment '创建时间',
gmt_modified string comment '修改时间'
)comment 'dataphin-标签平台血缘信息表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 30;资产目录
dim_dataphin_mdc_topic_directory
create table if not exists dim_dataphin_mdc_topic_directory(
tenant_id bigint comment '租户ID',
directory_id bigint comment '目录Id',
directory_name string comment '目录名称',
directory_des string comment '目录描述',
directory_parent_id bigint comment '父目录Id',
directory_parent_path string comment '父目录路径',
directory_modifier_id string comment '目录修改者用户Id',
directory_modifier_name string comment '目录修改者用户名称',
directory_gmt_create string comment '目录创建时间',
directory_gmt_modified string comment '目录最新更新时间',
topic_id bigint comment '资产专题ID',
topic_name string comment '资产专题名称',
topic_des string comment '资产专题描述',
topic_status string comment '资产专题状态,DRAFT:待发布,IN_PUBLISH:发布中,PUBLISHED:已发布',
topic_asset_type string comment '资产类型,表:TABLE,指标:INDEX',
topic_admin_users string comment '资产专题管理员列表, 逗号分割的userId',
topic_visibility_type string comment '资产专题专题公开范围,全员可见:PUBLIC,仅管理员及指定用户可见:ADMINS_AND_SPECIFIED',
topic_visible_users string comment '资产专题可见的用户ID列表, 逗号分割',
topic_visible_user_groups string comment '资产专题可见的用户组ID列表, 逗号分割',
topic_enable_publish_approve string comment '资产专题是否开启发布审批,true:开启,false:关闭',
topic_modifier_id string comment '资产专题最近修改人',
topic_modifier_name string comment '资产专题最近修改人',
topic_gmt_create string comment '资产专题创建时间',
topic_gmt_modified string comment '资产专题最新更新时间'
)comment '资产专题目录'
partitioned by (ds string comment '业务日期,格式yyyymmdd')
lifecycle 15;dim_dataphin_mdc_list_object
说明
v4.3仅包含表资产。
owner_user_id：资产ownerID，即为资产上架时的资产ownerID。
owner_user_name：资产ownername，即为资产上架时的资产ownername。
create table if not exists dim_dataphin_mdc_list_object
(
tenant_id bigint comment '租户ID',
guid string comment '对象guid',
name string comment '对象名称',
display_name string comment '展示名称',
full_name string comment '对象全名',
asset_type string comment '资产类型:TABLE/COLUMN/INDEX/PROJECT/BIZ_UNIT/DATA_CELL/FUNCTION/DATASOURCE/DATASERVICE/DATA_STANDARD',
asset_sub_type string comment '资产子类型',
env string comment '资产环境,DEV/PROD',
asset_source string comment '资产来源',
project_id bigint comment '项目ID',
project_name string comment '项目名称',
biz_unit_id bigint comment '业务板块ID',
biz_unit_name string comment '业务板块名称',
data_source_id bigint comment '数据源ID',
data_source_name string comment '数据源名称',
data_source_type string comment '数据源类型',
directory_ids string comment '资产所属目录ID列表',
directory_names string comment '资产所属目录名称列表',
topic_ids string comment '资产所属专题ID列表',
topic_names string comment '资产所属专题名称列表',
tags_list string comment '上架资产标签',
view_scope_type string comment '上架资产可见范围类型,ALL_USERS_CAN_VIEW:全部用户可见,PART_USERS_CAN_VIEW:部分用户可见,PART_USERS_CAN_NOT_VIEW:部分用户不可见,ALL_USERS_CAN_NOT_VIEW:全部用户可见',
view_scope_user_ids string comment '上架资产可见范围用户列表',
view_scope_user_groups string comment '上架资产可见范围用户组列表',
asset_from_is_deleted string comment '来源资产已删除,Y/N',
create_time string comment '对象创建时间',
last_ddl_time string comment '对象最近修改时间',
last_dml_time string comment '对象最近更新数据时间',
owner_user_id string comment '资产ownerID',
owner_user_name string comment '资产owner名称',
record_count bigint comment '资产记录数,仅对表资产有效',
table_size bigint comment '资产存储量大小,仅对表资产有效',
asset_lifecycle string comment '资产生命周期,仅对存在生命周期的引擎或数据库的表资产有效'
) comment '上架资产信息表'
partitioned by (ds string comment '分区字段,格式yyyymmdd')
lifecycle 15;通信表
data_share_finish
create table if not exists data_share_finish
(
module_name string comment '模块名称:data_share',
finish_time string comment '完成时间'
)comment '基础共享元数据通信表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 360;data_security_finish
create table if not exists data_security_finish
(
module_name string comment '模块名称:data_security',
finish_time string comment '完成时间'
)comment '数据安全模块元数据通信表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 360;data_service_finish
create table if not exists data_service_finish
(
module_name string comment '模块名称:data_service',
finish_time string comment '完成时间'
)comment '数据服务模块元数据通信表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 360;data_quality_finish
create table if not exists data_quality_finish
(
module_name string comment '模块名称:data_quality',
finish_time string comment '完成时间'
)comment '数据质量元数据加工模块通信表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 360;data_standard_finish
create table if not exists data_standard_finish
(
module_name string comment '模块名称:data_standard',
finish_time string comment '完成时间'
)comment '数据标准元数据加工模块通信表'
partitioned by (ds string comment '分区字段,yyyymmdd')
lifecycle 360;data_featurex_finish
create table if not exists data_featurex_finish (
module_name string comment '模块名称:data_featurex',
finish_time string comment '完成时间'
) comment '标签平台元数据加工模块通信表'
PARTITIONED BY (ds string comment '分区字段,yyyymmdd')
lifecycle 360;文档内容是否对您有帮助？