混合云数据库一站式治理
本实践介绍了数据管理服务对混合云数据库提供的一站式治理方案。
前提条件
数据管理DMS,基于企业版V3.15及以上版本。
使用场景
传统数据管理存在操作流程复杂,安全流程不规范,用户需要安装种类繁杂的数据库客户端的问题,通过数据管理DMS完成对云数据库的一站式治理,数据管理服务提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。
方案概述
通过传输与加工(DTS)做数据迁移,将线下的数据平滑迁移上云。
使用SQL窗口Console控制台对云上数据进行可视化的数据变更。
通过数据资产对数据的安全级别的进行精准把控,消除敏感数据泄露风险。
通过数据库开发可对数据库、表进行结构设计、数据同步,数据变更、历史数据清理、数据导入导出,从而对数据进行全方面立体式的使用与开发。
通过安全与规范自定义安全规则,创建科学规范的规则集,可细化数据使用者的操作权限,对数据操作通过审批流程来规范数据运转的安全与稳定。
实践步骤
通过DTS功能将数据迁移上云。
登录Apsara Uni-manager运营控制台,在上方导航栏选择产品>数据库>数据管理 DMS,进入数据管理DMS控制台。
单击传输与加工(DTS)>数据迁移,配置迁移任务。选择迁移对象和迁移类型,配置完成后单击预检查并启动。
迁移任务启动后,在任务列表可查看任务完成情况,迁移完成后,自建数据库的数据实现迁移上云,数据在不影响原有数据库情况下,迁移至RDS实例中。
SQL窗口功能。
单击SQL窗口,登录RDS实例,可实现白屏的SQL编辑和执行,并可以对数据库中的表进行管理、编辑、修改和导入导出。
数据资产。
单击敏感数据管理>脱敏管理,可以查看敏感字段信息、单击新增脱敏策略来新建脱敏策略、单击脱敏规则>新增规则来新建脱敏规则,可以修改安全级别等。
例如:登录实例>选择库>表详情>调整安全级别,将pad字段设置为敏感,通过SQL窗口查询会根据脱敏规则进行遮掩。
单击导出文件,导出结果集到Excel,可查看pad字段数据同样为遮掩状态。
数据库开发。
单击结构设计,依次单击创建工单、设计结构,新建物理表然后执行变更到基准库,进入下一节点可将结构设计发布至目标库。
库表同步功能包含结构同步、影子表同步、空库初始化、表一致性修复。
单击结构同步,配置来源和目标库表信息,提交申请,通过审批后,可将结构同步至目标库中。
单击影子表同步,配置来源库和同步表,设置前缀或后缀,配置同步策略可选择立即同步和定时同步,最后提交申请。可在来源库中创建自定义名称的影子表。(新的数据表,表名是在源表名上增加前缀或后缀的方式生成),适用于全链路压测等场景。
单击空库初始化,功能与结构同步一样,目标库必须是空库。适合建站、开服等初始化一套新环境的场景。
单击表一致性修复,适用分库分表表结构一致性修复等场景。表一致性修复功能可以帮助对比不同环境下数据库中的表结构,快速找出差异并在目标环境执行差异脚本,可用于保障不同环境之间的结构一致性。
单击数据变更,包含普通数据变更、无锁变更、历史数据清理、可编程对象、数据导入等功能。
单击普通数据变更,选择数据库,编写变更SQL文本或上传附件,提交申请执行数据变更。
单击无锁变更,可应用于大量数据变更的需求(例如历史数据清理、全表更新字段等),可自动根据主键、唯一键分拆SQL分批多次执行,降低对数据库性能、数据库空间的影响。
单击历史数据清理,使用该功能防止历史数据堆积对生产环境的稳定性产生影响。选择库表和清理配置及策略,提交申请就可按照设置清理历史数据。
单击可编程对象,选择数据库,编辑SQL文本,支持函数和存储过程。
单击数据导入,支持大批量数据快速导入至数据库。配置目标数据库还有导入的数据文件即可完成数据导入。
数据导出可以导出数据库或SQL结果集,便于提取相关数据进行数据分析。
单击SQL结果集导出,导出成功后可下载导出文件。
单击数据库导出,导出成功后可下载导出文件。
安全与规范。
单击权限,可检索权限申请工单列表,单击申请,进行申请权限,可对图示各种权限进行申请,提交后待审批通过即可获得对应权限。
单击安全规则,可编辑已有规则集,也可新建规则集。
单击审批流程>新增审批模板,可新建自定义审批模板。
单击审批流程>新增审批节点,可新建审批节点选择审批人。
- 本页导读