模型创建成功后,您需为维度表、明细表、汇总表、应用表配置字段管理、关联关系、分区管理等配置,完成后将表进行发布。本文将为您介绍如何添加字段、配置字段属性、发布以及管理表。

说明
  • 您也可以通过FML语句创建字段、关联关系及分区,操作方法请参见使用FML语句配置并管理数据表
  • 本文中字段管理、关联关系、分区管理的配置方法均适用于维度表、明细表、汇总表、应用表,下文中以表泛指这四类表。

字段管理:添加表字段

您可以通过快捷模式代码模式为表添加字段,其中快捷模式支持如下导入方式:
  • 从表/视图导入:从计算引擎已存在的物理表或视图导入字段,即在查找已有表/视图下拉列表搜索并选择已存在的物理表或视图进行字段导入。
    说明 当前仅支持从MaxCompute、Hologres、EMR Hive引擎的表或视图导入。
  • 从指标导入:从数据指标所有派生指标中选择所需指标作为模型字段。
    说明汇总表应用表支持选择从指标导入
  • 快捷模式从表/视图导入从表导入
    1. 单击快捷模式下,从表/视图导入后的展开
      说明 明细表维度表无需执行该步骤。
    2. 查找已有表/视图的输入框中输入相应名称,即可选择对应的表或视图,并在已引用的表后选择导入表或视图的全部字段或部分字段。
      说明
      • 输入名称时支持模糊匹配,即输入关键字便可搜索到所有名称中包含关键字的表或视图。
      • 仅支持搜索生产环境的表,不支持搜索开发环境的表。
      • 导入全部字段图标表示导入全部字段。
      • 部分字段图标表示导入部分字段。
    3. 当选择导入部分字段时,在弹出的窗口中,会为您展示所选表的字段,您可选择需要添加至模型的字段,完成后单击界面下方的导入
      说明 如果已导入字段中存在字段显示名为空的字段,您可根据界面提示将字段描述填充为字段显示名。
  • 快捷模式从指标导入(适用于汇总表、应用表模型的创建)导入字段
    1. 单击快捷模式下,从指标导入后的快速导入
    2. 在弹出的窗口中,会为您展示当前已创建的派生指标,您可以在派生指标中选择需要添加至汇总表、应用表的字段。同时,您还可以使用时间周期业务过程修饰词原子指标筛选指定派生指标。
    3. 完成后单击界面下方的导入
  • 代码模式
    代码模式为您提供代码输入的操作方式,单击代码模式后,弹窗中会根据已配置的模型信息自动生成建模语言,您可以在此基础上修改模型信息,完成后单击下方的确定代码模式

字段管理:设置表字段信息

完成上述操作后,模型所需字段即已被添加至该模型中,此时您可以根据业务需求设置模型各字段的关联字段冗余字段关联粒度/指标
  1. 设置字段属性。

    字段属性默认展示字段名称类型字段显示名描述主键非空度量单位操作等基础属性。您可以在展示已添加字段的右上方单击字段显示设置,选择需要展示出来的字段属性,并根据需要进行修改。

  2. 设置字段的关联字段标准关联标准代码
    用于为已添加的字段选择关联的字段标准和标准代码,规范字段的取值内容及范围。
    • 关联字段标准:统一规范管理含义相同但字段名称不同的数据,定义字段的取值范围、度量单位等内容。
    • 关联标准代码:设置某一字段标准可选择数据的内容以及范围。
    说明 汇总表、应用表仅支持设置关联字段标准
  3. 设置字段的冗余字段

    在已添加字段的操作列,单击冗余字段,即可设置字段的关联字段。

    冗余字段
  4. 设置字段的关联粒度/指标
    汇总表、应用表的各字段数值的统计类型可通过设置字段的关联类型来指定,包括统计粒度派生指标原子指标三种。
    • 统计粒度:用于关联维度表和维度表中的字段。例如,商品维度、商家维度。
    • 派生指标:指定汇总表字段需要整合的统计数值的派生指标。例如,近7天盒马App支付下单的金额数。
    • 原子指标:指定汇总表字段需要整合的统计数值的原子指标。例如,支付下单的金额数。
    说明
    • 仅汇总表、应用表支持字段的统计粒度/指标
    • 从表导入的字段、代码模式添加的字段无默认关联类型,您可以手动设置字段的关联类型为哪种类型。
    如果您想设置或修改字段的关联类型,可以参考以下步骤进行修改。修改关联类型单击字段管理右侧的关联粒度/指标,在弹出的窗口中,修改字段关联的类型和关联的内容,完成后单击确定
  5. 完成设置后单击左上角的保存

版本对比

模型每次提交都将生成一个新的版本。在模型编辑页面的右侧导航栏,您可查看模型的所有版本信息。同时,还可执行如下操作:版本对比
  • 版本对比
    比较所选版本的内容差异。当仅选择一个版本时,则是比较所选版本与当前已保存的模型内容间的差异。
    说明 最多支持选择两个版本进行对比。
  • 回滚
    切换至所需的模型版本。切换后模型编辑页面的内容将被目标版本内容覆盖。
    说明 回滚操作仅是将界面配置更新至所选回滚版本。

发布模型

维度表、明细表、汇总表、应用表,可直接发布物化至绑定的DataWorks引擎中,用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。

您也可以直接将表内容导出,然后手动导入至引擎中进行使用。手动导出支持MaxCompute、Hologres、Hive引擎,导入导出方法请参见导入与导出表配置

  1. 发布模型。
    模型创建完成后,您可单击表详情页顶部菜单栏的发布图标,在弹出的发布对话框中配置如下参数。发布设置
    参数描述
    发布类型可选择发布当前模型为物理表视图物化视图
    说明
    • 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。
    • 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作
    • 当选择发布模型为物化视图时,则仅支持删除重建发布模式。
    工作空间可选择当前模型需要物化发布到哪个工作空间,该参数为可选参数。
    • 已设置建模空间:此处可选择在数仓规划 > 建模空间已添加为数据研发工作空间的工作空间。
    • 未设置建模空间:界面不显示此参数,默认物化发布到当前所在的工作空间。
    说明 添加数据研发工作空间的操作详情请参见建模空间
    引擎类型选择数据存储的引擎,目前可选如下几类。
    MaxComputeEMR HiveHologresCDHMySQL
    说明
    • 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。
    • 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作
    • 当选择发布模型为物化视图时,则仅支持删除重建发布模式。
    引擎实例根据需求将表物化至引擎类型参数中相应类型的数据存储引擎。
    生效环境可选择发布至开发生产环境。
    说明
    • 如果您使用的是简单模式的DataWorks工作空间,则仅支持发布表到生产环境。
    • 如果您使用的是标准模式的DataWorks工作空间,则支持发布表到生产环境或开发环境。
    发布模式
    • 增量发布:选择该模式,发布时仅会将目标模型此次变更的内容发布至对应引擎。
    • 删除重建:选择该模式,发布时会将对应引擎中之前已发布的该模型删除,删除后再重新创建此次发布的模型。
    说明
    • 如果您的模型是首次发布,则无论选择哪种模式,系统均会在对应的引擎中新增该模型。
    • 当选择发布模型为物化视图时,则仅支持使用删除重建模式。
    独享资源组选择模型表物化为E-MapReduceCDH的物理表时,所使用的独享调度资源组。
    说明
    • 发布E-MapReduce或CDH的物理表仅支持使用独享调度资源组。
    • 仅当发布E-MapReduceCDH物理表时,需配置该参数。
    • 如果您没有合适的独享调度资源组,则可参考新增和使用独享调度资源组新建。
    发布备注描述本次发布的相关内容。
    DDLDataWorks根据模型配置自动为您生成发布为物化视图的SQL语句。由于SELECT语句必须执行成功此处发布才会成功,因此您需手动修改AS SELECT语句为可执行的SQL语句。
    说明
    • 仅当选择发布模型为物化视图时,需配置该参数。
    • 物化视图的DDL操作,详情请参见物化视图操作
  2. 配置完成后单击发布,系统会将模型发布至对应的开发生产环境,并物化至所选引擎。
    说明
    • 您可在发布对话框查看当前发布进度。
    • 您可重复执行发布操作将模型发布至不同的环境中。
  3. 可选:发布完成后,您可单击表详情页顶部菜单栏的日志图标,查看最近一次发布操作的发布结果以及发布的详细信息。
    其中,发布状态包含发布成功发布失败发布中三种状态。发布成功的日志如下图所示。发布日志
    说明
    • 当系统提示deploy plan execute success时,也表示发布成功。
    • 发布状态发布失败时,您需要根据具体的报错信息尽快定位原因并处理。
    • 发布日志对话框显示暂无发布日志,表示模型表从未被发布过。

克隆表

如果您已创建完成部分表,后续希望创建内容一致的表,可使用克隆表快速创建。您仅需找到待克隆的表,右键后选择克隆表即可,表参数配置与新建表参数配置一致。复制表

模型管理

创建完成维度表、明细表、汇总表、应用表后,您可以在左侧的目录树双击模型名称,查看对应模型的详情,在模型详情页顶部菜单栏,进行模型的编辑、发布、模型开发等操作。
  • 编辑模型:单击编辑即可对当前表的基本信息和字段进行修改编辑,编辑完成后单击保存即可完成修改。
    说明 编辑修改表信息后,需发布物化至引擎,才能在后续开发过程中使用最新修改后的表。
  • 刷新模型信息:单击刷新可对当前变内容进行刷新,以获取最新的表信息。
  • 配置模型关联关系:单击关联关系即可创建或修改当前模型的关联关系。
  • 提交模型:提交成功后,将会生成一个新的模型版本,新提交的模型内容会覆盖已有的模型内容。
  • 发布模型:单击发布即可将表发布物化至引擎,同时,会自动生成相应质量规则。
  • 查看模型发布日志:单击日志即可查看表发布日志详情。
  • 生成模型代码框架:模型发布成功后,单击模型开发,即可通过模型开发功能生成代码框架,帮助您提高后续数据开发效率。详情请参见模型开发
  • 导出生成模型的代码语句:单击导出即可将模型信息转化为对应引擎的建表DDL语句或ETL语句,便于复制或直接导出代码文件。

后续步骤

表内容发布至目标引擎后,您可以进入DataWorks的数据开发页面,基于该汇总表进行相关的数据开发操作。数据开发的功能介绍,详情请参见数据开发界面功能介绍