管理数仓规划待发布对象

若您导入的发布包文件与目标环境存在规划对象变更,您将在规划对象页面查看到存在变更的规划对象。您可对规划对象进行管理或发布操作。

前提条件

来源环境导出的发布包文件已导入至目标环境,具体操作,请参见导入发布包

待发布规划对象入口

  1. 请参见发布包总览入口,进入发布包管理页面。

  2. 单击规划页签,进入待发布规划对象页面。

    image..png

查看及管理规划待发布对象

规划对象由公共定义数据板块计算源项目数据源等5个待发布对象类型组成。您可以根据您的发布需求,选择对应待发布对象类型进行管理或发布。

公共定义待发布对象

待发布公共定义页面主要由搜索与筛选区、公共定义对象列表批量操作组成。各区域及操作说明如下。

image..png

区域

描述

搜索与筛选区

搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入统计周期名称、英文缩写筛选公共定义对象。

公共定义对象列表

公共定义对象列表为您展示当前待发布的公共定义对象及支持的操作。

  • 公共定义对象信息:包括统计周期名、发布状态/完成时间、英文缩名、变更类型、环境变更。

  • 操作:单击image可发布该公共定义对象。

批量操作

支持对公共定义对象进行全局全选、本页全选及对勾选的对象进行批量发布。

数据板块待发布对象

待发布数据板块页面主要由搜索与筛选区、数据架构对象列表批量操作组成。各区域及操作说明如下。

image..png

区域

描述

搜索与筛选区

搜索及筛选区支持根据发布对象变更类型、环境变更、发布状态或输入数据板块名称、英文名称筛选数据板块对象。

数据板块对象列表

数据板块对象列表为您展示当前待发布的数据板块对象及支持的操作。

  • 数据板块对象信息:包括数据板块名称、发布状态/完成时间、英文名、变更类型、环境变更。

  • 操作:单击image可发布该数据板块对象。

批量操作

支持对数据板块对象进行全局全选、本页全选及对勾选的对象进行批量发布。

计算源待发布对象

待发布计算源页面主要由搜索与筛选区、计算源对象列表批量操作组成。各区域及操作说明如下。

说明

由于计算源中的配置文件未导出,且来源环境与目标环境的计算源配置通常有所不同,因此建议您使用单条计算源发布,在发布前检查数据源的配置是否正确。

image..png

区域

描述

搜索与筛选区

搜索及筛选区支持根据发布对象计算源类型、变更类型、环境变更、发布状态或输入计算源名称筛选计算源对象。

计算源对象列表

计算源对象列表为您展示当前待发布的计算源对象及支持的操作。

  • 计算源对象信息:包括计算源名称、计算源类型、发布状态/完成时间、负责人、英文名、变更类型、环境变更。

  • 操作:单击image可发布该计算源对象。

项目待发布对象

待发布项目页面主要由搜索与筛选区、项目对象列表批量操作组成。各区域及操作说明如下。

说明

发布项目对象前请确认项目所依赖的计算源对象已发布,否则将导致发布失败。

image..png

区域

描述

搜索与筛选区

搜索及筛选区支持根据数据板块、变更类型、环境变更、发布状态或输入项目名称、英文名筛选项目对象。

项目对象列表

项目对象列表为您展示当前待发布的项目对象及支持的操作。

  • 项目对象信息:包括项目名称、发布状态/完成时间、英文名、变更类型、环境变更。

  • 操作:单击image可发布该项目对象。

批量操作

支持对项目对象进行全局全选、本页全选及对勾选的对象进行批量发布。

数据源待发布对象

待发布数据源页面主要由搜索与筛选区、数据源对象列表批量操作组成。各区域及操作说明如下。

说明
  • 同名同类型可选择映射,或者重命名后进行发布。

  • 发布时会应用替换规则。

  • 单个数据源发布时,可选择开启替换规则或关闭替换规则。

  • 若需批量设置数据源的属性,请设置替换规则。设置完成后,您可根据替换规则进行批量发布。

image..png

区域

描述

搜索与筛选区

搜索及筛选区支持根据数据源类型、变更类型、环境变更、发布状态、同名同类型或输入数据源名称筛选数据源对象。

数据源对象列表

数据源对象列表为您展示当前待发布的数据源对象及支持的操作。

  • 数据源对象信息:包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更(从上一次导入后,当前目标环境是否有过变更)、同名同类型(当前环境中是否包含与来源环境同名同类型的数据源,且仅包含新增数据源)。

  • 操作:支持查看当前数据源对象版本详情、发布、映射及移除。

    • 版本详情:单击image可查看该对象的版本详情信息。

    • 发布:单击image可发布该数据源对象。

      说明
      • 若存在同名数据源不同数据源类型,则须填写新的数据源名称才可继续发布。

      • 若存在同名数据源且同数据源类类型,则须填写新的数据源名称才可继续发布。发布同名同数据源类型支持映射到已有数据源。

    • 映射:存在同名同类型的数据源时,可进行映射设置。具体操作,请参见映射已有数据源

    • 移除:可将该对象的变更项在列表中移除。移出后,该数据源在待发布列表中删除,若需要恢复,则需重新导入发布文件。

批量操作

支持对数据源对象进行全局全选、本页全选及对勾选的对象进行批量发布和移除、设置数据源替换规则和数据源对象与同名同类型目标数据源的映射。

  • 批量发布:可批量发布所选数据源。

    重要

    批量发布同名数据源将自动忽略,请先进行映射或单个数据源发布。

  • 设置数据源替换规则,详情请参见设置数据源替换规则

  • 可批量设置同名同类型的数据源映射。更多信息,请参见映射已有数据源

说明

发布数据源时,系统将会校验数据源的连通性。当您批量发布多个数据源且存在不可并发的数据源时,可能导致批量发布过慢,请您耐心等待。不支持并发的数据源包括SAP Table和HDFS、Hive、Impala、Kudu、Kafka以及其他支持Kerberos的数据源类型。

设置数据源替换规则

来源环境和目标环境的属性配置一般都不同,因此在发布前,您可使用数据源替换规则功能设置替换规则,将数据源的配置批量替换成目标环境的配置。数据源对象发布时,将按顺序使用匹配的第一条规则进行属性的替换。

  1. 设置替换规则对话中,单击+新建替换规则,进行新增替换规则。

    重要
    • 仅支持设置最多100条替换规则。

    • 替换规则的生效范围:仅针对新增变更类型的数据源。

    image

  2. 新增替换规则对话框中,配置替换规则。

    image..png

    配置规则步骤

    描述

    一. 选择替换数据源的范围

    1. 设置数据源类型。

      选择您需替换数据源对象属性的数据源类型。如MaxCompute。

    2. 添加圈选规则。

      单击+添加规则并在新增的规则项中配置您替换规则。替换规则之间支持运算。

    3. 配置圈选范围。

      1. 设置规则配置项。

        配置项根据数据源类型不同,支持不同配置项类型,请以实际操作为准。如MaxCompute支持数据源名称负责人EndpointProject NameAccess ID进行范围圈选

      2. 设置匹配条件。

        各配置项支持的匹配条件:支持精确匹配不匹配包含不包含开头是结尾是为空不为空空文本非空文本

        说明

        负责人仅支持属于

    二. 设置替换的配置项及替换值

    1. 配置生产环境和开发环境的替换配置项

      替换配置项项根据数据源类型不同,支持不同替换配置项类型,请以实际操作为准。如MaxCompute支持Endpoint、Project NameAccess IDAccess key

    2. 设置匹配规则

      匹配方式支持全文、文本匹配、正则表达式。大小写敏感

    说明

    正则表达式使用Java语言规范。更多信息,请参见Java正则表达式指南

    1. 设置替换文本

      在输入框输入用于替换的文本。

    完成配置后,所设置的规则将按照顺序进行替换。

  3. 单击保存

    完成数据源替换规则后,将根据规则匹配数据源对象,并为您显示所匹配到的数据源数。

    image

    单击规则后image按钮,则数据源将根据该规则进行批量发布。

  4. 单击image..png可查看与规则匹配的数据源。

    image..png

    规则匹配数据源对话框中,支持查看规则匹配数据源详情、发布及对同名同类型的数据源进行映射操作。

映射已有数据源

导入的发布文件与目标环境中存在同名同类型的数据源时,您可进行映射设置。单击映射已有数据源对话框中的查看详情对比可查看导入的数据源对象与当前同名同类型的目标环境数据源对象的对比信息。

image

映射支持映射并更新配置与仅映射不修改配置。

  • 映射并更新配置:导入的数据源对象与当前同名同类型的目标环境数据源对象进行映射并更新目标环境数据源配置为导入的数据源对象配置。

    说明

    若命中替换规则,数据源的配置将根据替换规则进行替换。

  • 仅映射不修改配置:导入的数据源对象与当前同名同类型的目标环境数据源对象进行映射但不更新目标环境数据源配置。