模型创建成功后,您需将维度表、明细表、汇总表、应用表进行发布,物化至所需物理引擎。本文为您介绍如何发布模型。
说明
- 您也可以通过FML语句创建字段、关联关系及分区,操作方法请参见代码模式建模。
- 本文中字段管理、关联关系、分区管理的配置方法均适用于维度表、明细表、汇总表、应用表,下文中以表泛指这四类表。
发布模型
维度表、明细表、汇总表、应用表,可直接发布物化至绑定的DataWorks引擎中,用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。
您也可以直接将表内容导出,然后手动导入至引擎中进行使用。手动导出支持MaxCompute、Hologres、Hive引擎,导入导出方法请参见导入方式建模。
- 发布模型。模型创建完成后,您可单击表详情页顶部菜单栏的
图标,在弹出的发布对话框中配置如下参数。
参数 描述 发布类型 可选择发布当前模型为物理表、视图、物化视图。 说明- 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。
- 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作。
- 当选择发布模型为物化视图时,则仅支持删除重建发布模式。
工作空间 可选择当前模型需要物化发布到哪个工作空间,该参数为可选参数。 - 已设置建模空间:此处可选择在数据研发工作空间的工作空间。 已添加为
- 未设置建模空间:界面不显示此参数,默认物化发布到当前所在的工作空间。
说明 添加数据研发工作空间的操作详情请参见建模空间。引擎类型 选择数据存储的引擎,目前可选如下几类。 MaxCompute、EMR Hive、Hologres、CDH、MySQL。说明- 当选择发布模型为视图时,则仅支持物化至MaxCompute引擎。
- 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作。
- 当选择发布模型为物化视图时,则仅支持删除重建发布模式。
引擎实例 根据需求将表物化至引擎类型参数中相应类型的数据存储引擎。 生效环境 可选择发布至开发或生产环境。 说明- 如果您使用的是简单模式的DataWorks工作空间,则仅支持发布表到生产环境。
- 如果您使用的是标准模式的DataWorks工作空间,则支持发布表到生产环境或开发环境。
发布模式 - 增量发布:选择该模式,发布时仅会将目标模型此次变更的内容发布至对应引擎。
- 删除重建:选择该模式,发布时会将对应引擎中之前已发布的该模型删除,删除后再重新创建此次发布的模型。
说明- 如果您的模型是首次发布,则无论选择哪种模式,系统均会在对应的引擎中新增该模型。
- 当选择发布模型为物化视图时,则仅支持使用删除重建模式。
独享资源组 选择模型表物化为E-MapReduce或CDH的物理表时,所使用的独享调度资源组。 说明- 发布E-MapReduce或CDH的物理表仅支持使用独享调度资源组。
- 仅当发布E-MapReduce或CDH的物理表时,需配置该参数。
- 如果您没有合适的独享调度资源组,则可参考新增和使用独享调度资源组新建。
发布备注 描述本次发布的相关内容。 DDL DataWorks根据模型配置自动为您生成发布为物化视图的SQL语句。由于SELECT语句必须执行成功此处发布才会成功,因此您需手动修改 AS SELECT
语句为可执行的SQL语句。说明- 仅当选择发布模型为物化视图时,需配置该参数。
- 物化视图的DDL操作,详情请参见物化视图操作。
- 配置完成后单击发布,系统会将模型发布至对应的开发或生产环境,并物化至所选引擎。说明
- 您可在发布对话框查看当前发布进度。
- 您可重复执行发布操作将模型发布至不同的环境中。
- 可选:发布完成后,您可单击表详情页顶部菜单栏的
图标,查看最近一次发布操作的发布结果以及发布的详细信息。
其中,发布状态包含发布成功、发布失败、发布中三种状态。发布成功的日志如下图所示。说明- 当系统提示
deploy plan execute success
时,也表示发布成功。 - 当发布状态为发布失败时,您需要根据具体的报错信息尽快定位原因并处理。
- 当发布日志对话框显示暂无发布日志,表示模型表从未被发布过。
- 当系统提示