数据源开发和生产环境隔离

数据源隔离模式可以满足标准模式下,开发环境和生产环境的数据隔离需求。

背景信息

同一个名称的数据源存在开发环境和生产环境两套配置,在配置数据源时,您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景,针对不同环境设置不同的数据源信息。在同步任务执行过程中,可由执行环境控制离线同步任务所访问的数据源对应的数据库地址,以此实现开发环境测试和生产数据产出的数据隔离需求。关于标准模式工作空间的介绍,详情请参见必读:简单模式和标准模式的区别

  • 标准模式工作空间下,DataStudio界面与开发环境运维中心默认访问开发环境数据源指向的数据源。

  • 生产调度环境下,生产环境运维中心界面任务执行默认访问生产环境数据源指向的数据源。

示例

说明
  • 由于开发环境和生产环境数据源配置的数据库、账号密码等可以不一致,所以可能导致DataStudio界面执行成功,生产环境调度时由于数据源差异导致数据同步失败的问题。请在配置数据源时,确认开发数据源对应的数据库或数据仓库与生产数据源对应的数据库或数据仓库环境是否符合业务现状。例如出现DataStudio执行成功,生产调度时执行失败,或DataStudio执行与生产调度时执行数据量不一致等问题时,您可对比开发环境执行成功的日志与生产环境的报错日志进行比对排查。

  • 由于任务最终将发布生产环境执行,若数据源开发环境与生产环境配置不一致,请确保资源组可分别与开发数据源和生产数据源连通。

新增数据源隔离模式后,对工作空间有以下影响:

  • 仅标准模式工作空间支持数据源开发生产隔离,即开发环境和生产环境可以配置不同的数据库或数据仓库。

    说明

    简单模式工作空间仅一个环境,无法做到开发生产隔离,关于工作空间模式说明,详情请参见:场景:工作空间模式升级(简单模式升级标准模式)

  • 简单模式升级标准模式时,会将数据源拆分成生产环境和开发环境隔离的模式。

操作步骤

  1. 进入数据源页面。

    1. 登录DataWorks控制台,单击左侧导航栏的管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 进入工作空间管理中心页面后,单击左侧导航栏的数据源,进入数据源页面。

  2. 页面功能

    描述

    批量新增数据源

    目前仅支持MySQL、PolarDB、SQLServer和Oracle数据源。

    您可以下载相应数据源的模板,根据模板中的格式填写内容,选择上传文件进行新建操作,文本框中会显示添加详情。模板内容:显示数据源类型、数据源名称、数据源描述、环境类别(0开发、1生产)、链接地址。

    说明

    同一个开发环境和生产环境的数据源名称必须一致。

    新增数据源

    • 开发环境可用的数据源:可以在新建数据同步节点时选择并在开发环境运行,但无法提交到生产环境或在生产环境运行。

    • 生产环境可用的数据源:只允许在生产环境运行时使用,不可以在新建数据同步节点时选择。

    适用环境

    简单模式下的工作空间不显示该配置。

    操作

    • 新建:如果不存在适用环境下的数据源,显示新建

    • 编辑删除:如果存在适用环境下的数据源,则显示编辑删除按钮。

      • 删除开发环境和生产环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。

        如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。请删除同步任务后再删除此数据源。

      • 删除开发环境的数据源:需确认是否存在生产环境关联的同步任务,操作不可逆,删除后,在开发环境配置同步任务时此数据源不可见。

        如果在生产环境使用此数据源配置的同步任务,删除后,任务编辑时将不能获取到元数据信息,但生产环境任务可以正常运行。

      • 删除生产环境的数据源:需确认是否存在生产环境关联的同步任务,删除后,在开发环境使用此数据源配置的同步任务将不能提交生产发布。

        如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务不可正常运行。

    选择

    勾选后,可以进行批量测试连通性和批量删除操作。