大咖与小白的日常:高性价比的数据归档解决方案

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

背景

随着企业的数据资料持续积累,为了满足审计合规要求或潜在的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境。

是否有“低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析”? 在这个背景下, DMS + AnalyticDB PostgreSQL(简称ADB PG)基于Serverless版共同推出了数据归档能力; 可以面对数据库,实现“灵活低价 + 归档管理 + 高分析性能”的整套数据归档方案。

数据归档介绍

功能介绍

DMS 目前支持用户面向OLTP(事务型)数据库,即面向企业主要的生产日志,交易等业务数据进行灵活的数据归档。可以在DMS的解决方案处找到该解决方案;该解决方案支持用户灵活定制面向生产数据库的数据归档逻辑,支持表级归档,客制化归档条件,归档过程数据映射,归档清理等主流归档能力;同时支持自定义周期性运行,可满足面向审计,历史数据分析的数据归档诉求。

(图1)

AnalyticDB PostgreSQL Serverless版发布,作为全新的归档引擎,通过支持按需启停,在数据归档场景中支持归档时计算资源启动,归档后计算资源暂停这套解决方案大幅优化了OLAP引擎作为归档是的成本浪费,保证了计算按需启动。同时AnalyticDB PostgreSQL的Serverless版本的相较于其他OLAP引擎有较大存储成本优势。对于存在分析诉求的场景,可于ADB PG的产品控制台直接启动使用,ADB PG Serverless版本具有极强的数据分析性能,相较于OSS等存储介质,可帮助用户结构化的管理归档数据,同时按需对归档数据进行高效分析。

(图2)

主流方案能力对比

归档方案

使用OLTP数据库

OSS

传统OLAP引擎

ADB PG Serverless版

价格

较差

优秀

较差

优秀

数据管理

优秀

较差

优秀

优秀

数据查询+分析

中等

较差

优秀

优秀

创建您的归档任务

资源要求

为实现数据归档,用户需要确认保有以下资源:

您的业务(事务型)数据库,此为用户主要的归档的数据源;

AnalyticDB PostgreSQL Serverless版 (简称 ADB PG Serverless),此为用户归档目标,提供归档计算引擎及存储引擎; 点击购买Serverless实例,建议使用按量付费版本。

Note:点击了解更多ADB PG Serverless版本

归档流程介绍

数据归档需要选择通过DMS提供的数据归档解决方案中,配置数据源,归档逻辑,归档周期,归档目标; 在执行归档后,用户直接访问归档目标并使用DMS进行归档数据管理, 直接提交SQL进行归档数据分析及查询; 如图3所示;

(图3)

当前已支持主流事务型数据库,包括RDS MySQL ,PostgreSQL & Polar MySQL PostgreSQL进行数据归档;

需保证您已登录阿里云账号

第一步:进入归档页面

登录DMS 控制台,如图4所示进入归档解决方案页面;

(图4)

第二步: 创建归档任务

点击【数据归档】按钮,配置数据归档任务;如图5~7;

设置任务名称: 提供数据归档任务的名称;

选择归档目标类型: 选择归档类型为ADB-PG

选择ADB PG实例: 若您已经有ADB PG 的Serverless实例,可搜索实例名称; 若还未有ADB PG实例,可以点击“前往购买ADB PG Serverless 版”进行购买; (注意,您需要在购买后,登录DMS确保DMS可搜索到该实例,可通过AnalyticDB的快速开始教程,进行ADB PG实例初始化设置;)

成本最优选择: 若您选择ADB-PG的serverless版本,支持“成本最优”选项, 该选项会自动在归档任务完成后暂停ADB-PG实例,为您节省空闲时间内的计算资源费用;

配置需要备份的数据库: 完成ADB PG实例选择以后,可选择所需要被备份的数据库,可直接搜索数据库名称, 若无法找到,可尝试通过DMS登录该数据库所在实例,确保元数据被DMS获取;

配置备份表:选择被备份数据库中需要备份的数据表,同时可输入表内的数据筛选逻辑(可选);

配置归档时间参数(可选): 若希望进行基于时间的备份数据筛选,可以设置时间参数; 可参考视频方法和逻辑进行配置;

设置归档执行周期: 支持多种执行周期选择,包括每小时,每日,每周,每月等;

设置归档后行为: 支持归档后的数据的清理,会提供自动的数据校验,确保数据归档无误后进行归档部分数据删除。

(图5)

(图6)

任务创建后,点击提交会生成样本执行SQL,并进行测试执行,只有测试运行成功后会进行下一步流程,如图7所示;。

(图7)

提交后会需要经过审批,(若加入“安全协同”模式,择需要进行组织协同内部审批,否则会直接创建,并在计划的下一次计划的时间执行;如图8。

(图8)

视频教程:如何配置数据参数

第三步: 归档任务管理

在归档任务创建以后,可以在控制页面以工单方式进行管理; 如图9

(图9)

对于一个任务,可以点击“详情”查看过去历史的归档记录任务执行情况; 如图10所示。

(图10)

第四步: 查看归档数据并进行分析

当归档完成后,若您需要对归档数据进行分析,可登录ADB-PG控制台,查看归档实例;

若您选择的是成本最优,则您的实例会处于“已暂停”状态,您需要进行实例启动,如图11所示。

(图11)

实例启动之后,可通过用户名和密码登录DMS实例并寻找归档数据库进行分析,如图12。

(图12)

找到归档实例,归档数据库,双击进入数据库后可进行SQL提交,如图13。

(图13)

方案优势 & 总结

对于事务型数据库的归档一直是企业数据场景中必不可少的场景。 当企业在云部署业务以后,我们期待帮助用户可以无需再重新构建一套客制化的解决方案。 我们希望提供给客户一套高度托管的产品集成解决方案,满足用户对于归档链路的易用性,分析能力,归档资产管理能力和低成本的全面诉求;

接下来ADB PG会推出冷存储和归档型存储,其价格及性能将持续为用户的大规模数据归档存储节约成本; 想要了解更多细节,可访问ADB PG 的官网或加入ADB PG的钉钉社区(钉钉搜索群组:11700737)进行咨询;

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
SQL 存储 NoSQL
附PPT下载|DTCC演讲:降本增效,阿里云一站式数据库上云最佳实践
在第十三届中国数据库技术大会(DTCC 2022)上,阿里云数据库高级解决方案架构师王林平从上云路径、云上数据库使用实践及使用进阶等方案深入介绍了阿里云一站式数据库上云最佳实践。 本文内容根据演讲录音以及PPT整理而成。
附PPT下载|DTCC演讲:降本增效,阿里云一站式数据库上云最佳实践
|
10月前
|
存储 弹性计算 负载均衡
关于阿里云存储产品的感悟和建议
关于阿里云存储产品的感悟和建议
178 1
|
缓存 NoSQL Cloud Native
喜报 | 阿里云「云原生内存数据库Tair」「数据库备份DBS」双双斩获“2022技术卓越奖”
日前,国内知名IT垂直媒体&技术社区IT168公布2022年“技术卓越奖”评选结果,经由行业CIO/CTO大咖、技术专家及IT媒体三方的联合严格评审,阿里云云原生内存数据库Tair和数据库备份DBS凭借出众的产品实力斩获“2022年度技术卓越奖”。
喜报 | 阿里云「云原生内存数据库Tair」「数据库备份DBS」双双斩获“2022技术卓越奖”
|
SQL 存储 运维
使用NineData实现企业级数据库备份, 数据备份告别“拆盲盒” ?
NineData 是玖章算术公司出品的“多云数据管理平台”,提供了包括SQL开发、数据备份、数据复制及数据对比等一系列数据管理能力,下面我们主要来唠一唠小八的救星“数据备份”。
175 0
使用NineData实现企业级数据库备份, 数据备份告别“拆盲盒” ?
|
Cloud Native 多模数据库 NoSQL
这三份白皮书里,藏着企业选型数据库的关键
随着数字化进程加速,数据的重要性越发凸显。在企业内部,面对庞大的数据体量,繁杂的数据类型,多变的业务场景,如何做好数据治理成为摆在案头的首要议题。
485 0
这三份白皮书里,藏着企业选型数据库的关键
|
存储 SQL Cloud Native
细谈友邦人寿如何从传统数据库实现最佳上云
本篇内容将从3个部分为读者介绍关于友邦人寿从传统数据库迁移上云的实践,进一步介绍友邦人寿在传统IT基础设施的现状和挑战、迁移上云的过程及未来的演进和展望。
587 0
细谈友邦人寿如何从传统数据库实现最佳上云
|
存储 NoSQL 关系型数据库
阿里云数据库线下活动 | 硬核突破,应用革新
本次活动不但有阿里云云上关系型数据库的内核管控最佳实践,详尽地分析了在云上阿里云数据库团队都做了哪些关于内核功能、版本管控、性能、稳定和安全方面的优化创新、还有阿里云原生内存数据库Tair、Apache Pulsar+Apache Flink流批一体通过技术创新带来的突破性新玩法,更会完整地介绍如何设计实现一个当下最火的HTAP(混合事务分析处理)数据库,期待各位同仁的来临和嘉宾的精彩分享!
阿里云数据库线下活动 | 硬核突破,应用革新
|
存储 调度 文件存储
直播平台软件开发过程中的云存储和备份
随着科技不断地发展和进步,云技术的应用已经开始大面积的普及,云技术主要是指在广域网或局域网内将硬件、软件和网络等一系列资源统一起来,实现数据的计算、储存、共享和处理的一种托管技术。当然,开发直播 app软件过程中也会需要这一技术的帮助,今天主要给大家分享一下直播平台软件开发中的云储存和云备份的相关知识。
直播平台软件开发过程中的云存储和备份
|
存储 运维 Cloud Native
一款云迁移产品的成长史
从实现多云迁移到实现对Apsara Stack自动化迁移的全面支持,万博智云为自己的产品开启了顶级流量入口,获取客户信任的时间更短。
233 0
一款云迁移产品的成长史
|
机器学习/深度学习 新零售 自然语言处理
盘它!40篇+阿里技术经典案例,看完必收藏
很多小伙伴在后台发信息,表示一天一篇技术干货看不过瘾
4008 0