跨租户发布
跨租户发布数据用于迁移租户间的数据,以满足不同数据的应用场景,帮助企业实现数据应用价值最大化。
5分钟快速了解
前提条件
已购买跨租户发布增值服务并且当前租户已开通跨租户发布模块;跨租户发布过程中,若需要导出或导入标签架构、标签、质量对象,请先开启相关功能。
进行跨租户发布前,请确保来源租户与目标租户的Dataphin版本相同,且计算引擎类型需相同,否则将导致计算源对象发布错误。计算引擎设置详情请参见计算设置。
请确认目标租户与来源租户是否使用相同的集群作为计算引擎。如果计算引擎不同,则需先进行计算引擎的元数据和业务数据迁移。
请确认目标租户与计算引擎、业务数据库之间的网络连接畅通。
请确认目标租户与来源租户均已开启跨租户发布维护模式。
目标租户与来源租户需使用相同的跨租户发布凭证。
使用限制
自定义数据源需要手动创建目标环境,并保证来源环境与目标环境的数据源类型的编码一致性,若不一致,则发布时可能存在有未知的异常。
说明Dataphin v3.10以前版本创建的自定义数据源,不支持跨租户发布。
数据源及计算源中的配置文件无法导出,需要在发布时重新上传配置文件。
实时计算源中,仅Flink VVP计算源支持导出,其他实时计算源不支持导出。
数据服务API不支持导出,需手动迁移。
即席查询文件不支持导出。
背景信息
为确保租户之间的数据安全,Dataphin完全隔离租户间的数据。若您有构建数据生态或强安全管控(例如,不同租户构建共同的开发、测试或生产环境)诉求,通常需要在新租户中重新开发所有数据,这将降低数据应用的效率。
因此,Dataphin升级了数据的发布能力,旨在为您构建简单高效、安全可靠的跨租户发布平台。
跨租户发布可适用于以下情况:
环境迁移(不同实例迁移),例如独立部署转公共云SaaS。
开发与生产两套环境(实例)需隔离,例如金融行业生产开发隔离。
功能概述
跨租户发布支持批量发布文件中的对象,同时系统根据对象依赖关系自动控制发布至目标环境的顺序。Dataphin支持跨租户的发布对象包括规划类对象、数据架构的相关对象、研发的对象、资产相关的对象。
租户发布全局类对象:包括统计周期、全局变量、公共日历、离线调度模板、数据板块、计算源、项目、数据源、对象属性、识别特征。
跨租户发布数据架构的相关对象:包括主题域、业务对象和业务活动。
跨租户发布研发的对象:如集成任务、建模研发对象、指标研发对象、资源函数、及实时离线计算任务。
跨租户发布标签架构的对象:包括标签实体和标签实体ID。
跨租户发布标签的对象:包括离线标签(指标映射、规则组合)和离线视图。
跨租户发布数据标准的对象:包括标准对象(标准集目录、标准集、标准模板、数据标准、公共标准属性)、落标映射规则、映射关系、码表和词根。
跨租户发布数据质量的对象:包括规则模板和质量规则。
跨租户发布数据安全的对象:包括安全规则(数据分类、数据分级、识别特征)、识别结果和密钥。
名词解释
租户:Dataphin的部署实例中可将空间隔离为租户,在租户下可划分业务板块和项目。跨租户发布是将来源环境中的某个租户的研发对象导出成发布文件,再将导出的发布文件导入到目标环境的某个租户中。
来源环境:迁移数据至其他环境的环境。
目标环境:发布对象的环境。来源环境和目标环境是相对的概念。例如,环境A的数据需要发布至环境B中,则环境A为来源环境,环境B为目标环境。
跨租户发布使用人:具备跨租户发布功能权限的成员角色(用户)。
操作流程
主流程 | 描述 |
步骤一:跨租户发布准备 |
|
步骤二:跨租户发布设置 | 跨租户发布使用人在来源环境与目标环境中设置发布包文件保留时间、获取或设置跨租户发布凭证、功能权限校验、数据权限校验、流程设置等。具体操作,请参见跨租户发布设置。 |
步骤三:在来源环境导出并下载发布文件 | 在来源环境中,跨租户发布使用人导出并下载发布包文件。导出发布包文件支持全量导出、增量导出、指定对象导出方式。
说明 导出的发布包文件中研发模块不包含运维生成的实例数据。 |
步骤四:在目标环境导入发布文件 | 在目标环境中,跨租户发布使用人导入发布包文件。具体操作,请参见导入发布包。 |
步骤五:在目标环境发布待发布对象 | 在目标环境中,根据业务需求选择导入的发布包并发布待发布对象。具体操作,请参见待发布对象。 |
跨租户发布注意事项
跨租户发布期间,来源租户和目标租户均可新建任务,但不可发布至生产环境(Basic环境不可提交任务),此时新建的草稿态和开发态任务如需同步至目标租户,需手动迁移。
Dataphin将基于数据血缘关系生成全局依赖关系图,并根据该图生成正确的发布顺序,以确保依赖关系的准确性。在使用一键发布功能时,用户无须关注发布顺序问题。
在使用一键发布前,建议先手动发布计算源及数据源。
在跨租户发布过程中,系统将自动生成各对象的全局ID,以确保在不同环境下发布时能够唯一识别对象。