模型创建成功后,您需为维度表、明细表、汇总表、应用表配置字段管理、关联关系、分区管理等配置,完成后将表进行发布。本文将为您介绍如何添加字段、配置字段属性、发布以及管理表。
说明
- 您也可以通过FML语句创建字段、关联关系及分区,操作方法请参见使用FML语句配置并管理数据表。
- 本文中字段管理、关联关系、分区管理的配置方法均适用于维度表、明细表、汇总表、应用表,下文中以表泛指这四类表。
字段管理:添加表字段
您可以通过快捷模式或代码模式为表添加字段,其中快捷模式支持如下导入方式:
- 从表/视图导入:从计算引擎已存在的物理表或视图导入字段,即在查找已有表/视图下拉列表搜索并选择已存在的物理表或视图进行字段导入。说明 当前仅支持从MaxCompute、Hologres、EMR Hive引擎的表或视图导入。
- 从指标导入:从数据指标所有派生指标中选择所需指标作为模型字段。说明 仅汇总表和应用表支持选择从指标导入。
- 快捷模式:从表/视图导入
- 单击快捷模式下,从表/视图导入后的展开。说明 明细表和维度表无需执行该步骤。
- 在查找已有表/视图的输入框中输入相应名称,即可选择对应的表或视图,并在已引用的表后选择导入表或视图的全部字段或部分字段。说明
- 输入名称时支持模糊匹配,即输入关键字便可搜索到所有名称中包含关键字的表或视图。
- 仅支持搜索生产环境的表,不支持搜索开发环境的表。
图标表示导入全部字段。
图标表示导入部分字段。
- 当选择导入部分字段时,在弹出的窗口中,会为您展示所选表的字段,您可选择需要添加至模型的字段,完成后单击界面下方的导入。说明 如果已导入字段中存在字段显示名为空的字段,您可根据界面提示将字段描述填充为字段显示名。
- 单击快捷模式下,从表/视图导入后的展开。
- 快捷模式:从指标导入(适用于汇总表、应用表模型的创建)
- 单击快捷模式下,从指标导入后的快速导入。
- 在弹出的窗口中,会为您展示当前已创建的派生指标,您可以在派生指标中选择需要添加至汇总表、应用表的字段。同时,您还可以使用时间周期、业务过程、修饰词、原子指标筛选指定派生指标。
- 完成后单击界面下方的导入。
- 代码模式代码模式为您提供代码输入的操作方式,单击代码模式后,弹窗中会根据已配置的模型信息自动生成建模语言,您可以在此基础上修改模型信息,完成后单击下方的确定。
字段管理:设置表字段信息
完成上述操作后,模型所需字段即已被添加至该模型中,此时您可以根据业务需求设置模型各字段的关联字段、冗余字段、关联粒度/指标。
- 设置字段属性。
字段属性默认展示字段名称、类型、字段显示名、描述、主键、非空、度量单位、操作等基础属性。您可以在展示已添加字段的右上方单击字段显示设置,选择需要展示出来的字段属性,并根据需要进行修改。
- 设置字段的关联字段标准、关联标准代码。用于为已添加的字段选择关联的字段标准和标准代码,规范字段的取值内容及范围。
- 关联字段标准:统一规范管理含义相同但字段名称不同的数据,定义字段的取值范围、度量单位等内容。
- 关联标准代码:设置某一字段标准可选择数据的内容以及范围。
说明 汇总表、应用表仅支持设置关联字段标准。 - 设置字段的冗余字段。
在已添加字段的操作列,单击冗余字段,即可设置字段的关联字段。
- 设置字段的关联粒度/指标。汇总表、应用表的各字段数值的统计类型可通过设置字段的关联类型来指定,包括统计粒度、派生指标和原子指标三种。
- 统计粒度:用于关联维度表和维度表中的字段。例如,商品维度、商家维度。
- 派生指标:指定汇总表字段需要整合的统计数值的派生指标。例如,近7天盒马App支付下单的金额数。
- 原子指标:指定汇总表字段需要整合的统计数值的原子指标。例如,支付下单的金额数。
说明- 仅汇总表、应用表支持字段的统计粒度/指标。
- 从表导入的字段、代码模式添加的字段无默认关联类型,您可以手动设置字段的关联类型为哪种类型。
如果您想设置或修改字段的关联类型,可以参考以下步骤进行修改。单击字段管理右侧的关联粒度/指标,在弹出的窗口中,修改字段关联的类型和关联的内容,完成后单击确定。
- 完成设置后单击左上角的保存。
版本对比
模型每次提交都将生成一个新的版本。在模型编辑页面的右侧导航栏,您可查看模型的所有版本信息。同时,还可执行如下操作:

- 版本对比比较所选版本的内容差异。当仅选择一个版本时,则是比较所选版本与当前已保存的模型内容间的差异。说明 最多支持选择两个版本进行对比。
- 回滚切换至所需的模型版本。切换后模型编辑页面的内容将被目标版本内容覆盖。说明 回滚操作仅是将界面配置更新至所选回滚版本。
发布模型
维度表、明细表、汇总表、应用表,可直接发布物化至绑定的DataWorks引擎中,用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。
您也可以直接将表内容导出,然后手动导入至引擎中进行使用。手动导出支持MaxCompute、Hologres、Hive引擎,导入导出方法请参见导入与导出表配置。
- 发布模型。模型创建完成后,您可单击表详情页顶部菜单栏的
图标,在弹出的发布对话框中配置如下参数。
参数 描述 发布类型 可选择发布当前模型为物理表、视图、物化视图。 说明- 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。
- 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作。
- 当选择发布模型为物化视图时,则仅支持删除重建发布模式。
工作空间 可选择当前模型需要物化发布到哪个工作空间,该参数为可选参数。 - 已设置建模空间:此处可选择在数据研发工作空间的工作空间。 已添加为
- 未设置建模空间:界面不显示此参数,默认物化发布到当前所在的工作空间。
说明 添加数据研发工作空间的操作详情请参见建模空间。引擎类型 选择数据存储的引擎,目前可选如下几类。 MaxCompute、EMR Hive、Hologres、CDH、MySQL。说明- 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。
- 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作。
- 当选择发布模型为物化视图时,则仅支持删除重建发布模式。
引擎实例 根据需求将表物化至引擎类型参数中相应类型的数据存储引擎。 生效环境 可选择发布至开发或生产环境。 说明- 如果您使用的是简单模式的DataWorks工作空间,则仅支持发布表到生产环境。
- 如果您使用的是标准模式的DataWorks工作空间,则支持发布表到生产环境或开发环境。
发布模式 - 增量发布:选择该模式,发布时仅会将目标模型此次变更的内容发布至对应引擎。
- 删除重建:选择该模式,发布时会将对应引擎中之前已发布的该模型删除,删除后再重新创建此次发布的模型。
说明- 如果您的模型是首次发布,则无论选择哪种模式,系统均会在对应的引擎中新增该模型。
- 当选择发布模型为物化视图时,则仅支持使用删除重建模式。
独享资源组 选择模型表物化为E-MapReduce或CDH的物理表时,所使用的独享调度资源组。 说明- 发布E-MapReduce或CDH的物理表仅支持使用独享调度资源组。
- 仅当发布E-MapReduce或CDH的物理表时,需配置该参数。
- 如果您没有合适的独享调度资源组,则可参考新增和使用独享调度资源组新建。
发布备注 描述本次发布的相关内容。 DDL DataWorks根据模型配置自动为您生成发布为物化视图的SQL语句。由于SELECT语句必须执行成功此处发布才会成功,因此您需手动修改 AS SELECT
语句为可执行的SQL语句。说明- 仅当选择发布模型为物化视图时,需配置该参数。
- 物化视图的DDL操作,详情请参见物化视图操作。
- 配置完成后单击发布,系统会将模型发布至对应的开发或生产环境,并物化至所选引擎。说明
- 您可在发布对话框查看当前发布进度。
- 您可重复执行发布操作将模型发布至不同的环境中。
- 可选:发布完成后,您可单击表详情页顶部菜单栏的
图标,查看最近一次发布操作的发布结果以及发布的详细信息。
其中,发布状态包含发布成功、发布失败、发布中三种状态。发布成功的日志如下图所示。说明- 当系统提示
deploy plan execute success
时,也表示发布成功。 - 当发布状态为发布失败时,您需要根据具体的报错信息尽快定位原因并处理。
- 当发布日志对话框显示暂无发布日志,表示模型表从未被发布过。
- 当系统提示
克隆表
如果您已创建完成部分表,后续希望创建内容一致的表,可使用克隆表快速创建。您仅需找到待克隆的表,右键后选择克隆表即可,表参数配置与新建表参数配置一致。

模型管理
创建完成维度表、明细表、汇总表、应用表后,您可以在左侧的目录树双击模型名称,查看对应模型的详情,在模型详情页顶部菜单栏,进行模型的编辑、发布、模型开发等操作。
- 编辑模型:单击编辑即可对当前表的基本信息和字段进行修改编辑,编辑完成后单击保存即可完成修改。说明 编辑修改表信息后,需发布物化至引擎,才能在后续开发过程中使用最新修改后的表。
- 刷新模型信息:单击刷新可对当前变内容进行刷新,以获取最新的表信息。
- 配置模型关联关系:单击关联关系即可创建或修改当前模型的关联关系。
- 提交模型:提交成功后,将会生成一个新的模型版本,新提交的模型内容会覆盖已有的模型内容。
- 发布模型:单击发布即可将表发布物化至引擎,同时,会自动生成相应质量规则。
- 查看模型发布日志:单击日志即可查看表发布日志详情。
- 生成模型代码框架:模型发布成功后,单击模型开发,即可通过模型开发功能生成代码框架,帮助您提高后续数据开发效率。详情请参见模型开发。
- 导出生成模型的代码语句:单击导出即可将模型信息转化为对应引擎的建表DDL语句或ETL语句,便于复制或直接导出代码文件。