数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台,本文介绍数据管理DMS以及内置数据灾备(DBS)的产品优势。
实现全域数据资产管理
支持全域数据资产:
关系型数据库:MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版(兼容Oracle)、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。
NoSQL:Redis、MongoDB、Memcache、Cassandra、GDB等。
OLAP:AnalyticDB for MySQL、AnalyticDB for PostgreSQL。
文件及日志:OSS、SLS。
更多信息,请参见支持的数据库类型与功能。
支持多种来源的数据库:提供免费、稳定、高效的数据库网关DG用于打通网络接入,通过数据库网关您可以安全且低成本地将其他云厂商数据库或本地数据库接入DMS。更多信息,请参见什么是数据库网关。
提供数据库平滑迁移工具:DMS提供了DTS数据迁移工具,覆盖数据库迁移的全生命周期。更多信息,请参见DTS。
数据库管理:可进行数据库实例信息的查看、录入、编辑,对实例、库、表、数据列、行级进行授权、回收权限、禁用、启用、删除等管理操作。元数据访问控制功能可支持实例、数据库仅被有权限用户使用。更多信息,请参见DMS支持的数据库。
数据分类管理:对实例、库、表进行业务分类归属管理,便于管理人员、开发人员及运维人员能更好地管理或使用数据。更多信息,请参见资产类目。
快速查找数据:支持实例、数据库、表、功能、工单的全局搜索,基于图谱能力,可快速检索可用数据。
可靠的数据安全治理
安全可信:内置阿里巴巴最新研发规范,规避无主键等不合理设计带来潜在风险。目前支持200多种设计及审核规范,可按需调整。
全方位细粒度安全管理:支持实例、库、表、数据列、数据行级权限管理,可按需分配查询、导出、变更、登录等不同操作权限。更多信息,请参见访问控制权限概述。
域账号自动管理:提供域账号及权限的全自动化管理能力,有效避免企业员工流转时,账号清理不及时导致的潜在数据泄露风险。
合规审计:支持企业上市合规审计、常规内审等功能,全方位支持员工权限和数据库变更、访问的流水审计。更多信息,请参见操作审计。
多法律法规覆盖:全面覆盖中华人民共和国网络安全法、欧盟通用数据保护条例GDPR、SOX法案、PCI DSS、HIPAA等法律法规,实现敏感数据的自动分类分级,有效识别异常访问风险。更多信息,请参见敏感数据保护概览。
提供安全访问代理:安全访问代理复用了DMS内已有的安全规则、数据权限、敏感列配置等,可以实现在DMS平台外安全地访问数据库。更多信息,请参见开启安全访问代理。
有效保障数据库稳定性
稳定可控:通过无锁变更、变更前备份及变更异常自动回滚等策略保障变更过程中,数据库稳定可控。更多信息,请参见无锁结构变更概览、数据追踪。
数据质量监测:覆盖数据生产、集成、加工到消费的数据质量规则,进行数据质量监测与校验。更多信息,请参见监测数据质量。
SQL审核优化:结合安全规则的SQL审核优化建议,对上传的SQL语句进行审核并提供优化建议,避免无索引或不规范的SQL语句,降低SQL注入风险。更多信息,请参见SQL审核。
整体性能的诊断报告:整合数据库自治服务DAS的部分功能,掌握数据库实例的性能状况,有效保障数据库服务的稳定、安全及高效。更多信息,请参见数据库性能。
变更异常回滚:快速找到异常时间段内的相关变更,生成逆向的回滚语句,修复数据。更多信息,请参见数据追踪。
高效研发数据库
低代码数据加工
批量数据加工,更多信息,请参见离线集成概述。
多场景支持:支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。
低门槛:近乎零代码,简单配置连线后即可满足各项离线数据集成任务,同时任务支持复杂调度。
基于资产的虚拟湖:配合数据资产,可创建企业的数据资产虚拟湖,随取随用,降低企业建湖、运维成本。
流式数据加工,更多信息,请参见流式ETL。
多场景支持:支持实时数仓、多表实时拼接查询、实时数据处理与上传、实时报表、业务与计算分离、实时业务问题定位等。
高效低延时:通过DTS获取和写入数据,支持分布式并发读写,效率高于Flink,数据准确性更高。
可视化数据开发,更多信息,请参见概述。
混合编排模式:任务流支持多种引擎混合编排,支撑复杂业务流程。
复杂任务管理与调度:结合DMS账号与数据权限管理机制,能够进行复杂任务的管理与调度,提升开发过程的安全性。
运维机制完善:通过任务运行日志、数据血缘及监控机制,提供完善运维能力。
实时数据传输
多种数据传输方式:基于DTS的实时数据传输,提供数据迁移、数据同步、数据订阅功能,满足不同的传输需求。
高性能:支持分布式集成架构,突破单机瓶颈。同时提供限流手段,按需限流保护数据源。
运维简单:通过性能监控、端到端一键诊断功能及报警监控等策略,实现极低运维门槛。
灵活调度:按需配置调度,调度周期低至5分钟。
数据灾备(DBS)
低成本
数据灾备(DBS)使用飞天分布式存储作为内置存储,备份数据会转换成专用格式,并经过压缩保存到内置存储,降低存储成本。
支持按量付费,避免一次性投入大量资产。
同时数据灾备(DBS)支持存储分级,自动将备份数据存放到不同性价比存储介质中,适用于长期归档,降低成本。
高性能
实时备份:日志内存实时捕获,恢复点目标RPO(Recovery Point Object)达到秒级。
数据灾备(DBS)通过使用阿里实时数据流技术,读取数据库日志并进行实时解析,然后备份至云端存储,实现对数据库的增量备份。通常,数据灾备(DBS)可以将增量备份的延迟控制在秒级别以内,根据实际网络环境不同,延迟时长也会有所不同。
并行备份:全程无锁备份、多线程并行备份、数据拉取自适应分片。
任意时间点恢复:提供可恢复日历及时间轴选择。
在进行数据恢复时,通过全量备份与增量备份实现精确到秒级的数据库恢复,最大限度保障数据安全,更多信息,请参见库表级恢复。
多规格:弹性扩展,无缝支撑企业不同阶段性能要求,更多信息,请参见规格选型。
安全可靠
灵活易用
细粒度备份:整个实例、多库、单库、多表和单表,由您自由选择备份粒度。
单表恢复:细粒度恢复,恢复对象精准匹配,降低恢复时间目标RTO(Recovery Time Object)。
生命周期管理:自定义规则控制备份数据的生命周期,实现自动转存、清理和复制分发。
对比自建备份系统
对比项
数据灾备(DBS)
自建备份系统
成本
按需付费,100%资源利用率,无需一次性投入大量资产。
冷热数据分级存储,适用于长期归档。
压缩、紧凑备份格式,降低存储成本。
无需运维人员与托管费用,零成本运维。
一次性投入大量资产。
存储受硬盘容量限制,需人工扩容。
单线或双线接入速度慢,有带宽限制,峰值时期需人工扩容。
多级存储介质引入,运维成本骤增。
安全
使用SSL和AES256加密技术,保护备份数据传输和存储安全。
多用户资源隔离机制,支持异地灾备机制。
提供多种鉴权和授权机制及白名单、防盗链、主子账号功能。
备份有效性随时验证,任务状况主动通知。
提供用户自定义的鉴权机制。
需要另外购买清洗和黑洞设备。
需要单独实现安全机制。
易用性
仅需5分钟,实现购买、配置到启动备份任务。
细粒度备份,支持备份整个实例、单库、多表和单表。
完整生命周期管理,全局规则控制,自动转存、清理和复制分发。
备份恢复统一Web管理界面。
备份脚本和工具,学习成本高。
灵活性不足,一般只能提供基础能力。
性能
秒级RPO,日志内存实时捕获,任意时间点恢复。
恢复对象精准匹配,单表恢复,RTO大幅降低。
流式备份,数据不落盘,备份窗口全程无锁,自适应并发调速。
多线BGP运营商骨干网络,无带宽限制,支持海量用户并发备份恢复。
受限于多个工具短板,容易产生瓶颈点。
可靠性
基于阿里飞天盘古提供分布式高可靠存储。
数据多重冗余存储,数据设计持久性不低于99.999999999%。
备份过程中,实时校验数据完整性。
海量用户验证,风险快速发现并修复。
多个工具拼凑,问题指数级增长。
受限于硬件可靠性,易出问题,一旦出现磁盘坏道,容易出现不可逆转的数据丢失。
扩展性
除了支持备份阿里云数据库,数据灾备(DBS)还支持备份ECS自建数据库、本地机房数据库、AWS或腾讯云等其他云厂商数据库。
除了支持恢复到原始数据库,数据灾备(DBS)还支持恢复到其他环境,如本地数据库通过数据灾备(DBS)备份,恢复到阿里云数据库上。
仅支持特定环境,一般不具备扩展性。