Data API功能简介
使用RDS Data API Service，可以将数据持久层从业务逻辑中抽离出来，极大地降低业务系统的复杂度，从而降低系统风险。架构图 安全认证体系 RDS Data API Service使用AK/SK+ARN（Aliyun Resource Name）的鉴权模式。用户无需在应用程序中...
数仓场景：增量数据实时统计
StarRocks从Kafka分别订阅各层数据，将各层数据持久化到StarRocks中，用于之后的查询分析。方案特点 该方案主要特点如下：增量计算的数据由Flink进行清洗加工转换和聚合汇总，各层应用数据通过Kafka分别持久化到StarRocks中。Flink加工的...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS搭配异构数据库实现数据多样化存储
缓存数据持久化相关案例请参见 缓存数据持久化。多结构数据存储 OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。RDS可以和OSS搭配使用，组成多类型数据存储解决方案。例如，当业务应用为论坛时，RDS搭配OSS使用，论坛用户...
【通知】Redis单副本实例下线
下线时间 2019年12月18日 下线范围 所有按量付费的单副本实例（含政务云和金融云），包括：标准版-单副本 集群版-单副本 已购实例处置 已经存在的单副本实例不做变更，可以继续使用，但请勿在需要数据持久化的场景中使用。常见问题 我知道...
持久内存型
单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建Tair实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
某历史养成类游戏开发公司实时计算和数据仓库方案
3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析；4）应用数据层：直接对外提供数据查询服务（基于Lindorm SQL服务）支撑上层大数据风控...
作业开发入门概述
DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据应用层，面向业务进行数据分析、生产报表等使用的数据。您可以选择Spark SQL和XIHE BSP SQL任意一种方式进行作业开发。选择不同方式进行作业开发时，需要...
产品优势
数据持久化存储：内存+硬盘的存储方式，在提供高速数据读写能力的同时满足数据持久化需求。分钟级监控 提供基于引擎和资源的分钟级别历史监控。提供各数据结构和接口的监控信息，访问情况一目了然，便于用户对云数据库 Memcache 版的使用...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
关闭AOF落盘
云原生内存数据库Tair 默认开启AOF落盘，即基于AOF（append-only file）的数据持久化。您可以通过设置 appendonly 参数来关闭或重新开启AOF落盘。AOF落盘 AOF持久化是 Tair 除了RDB备份外的另一种持久化方式。开启AOF持久化后，Tair 以日志...
关闭AOF落盘
云数据库Redis版默认开启AOF落盘，即基于AOF（append-only file）的数据持久化。您可以通过设置 appendonly 参数来关闭或重新开启AOF落盘。AOF落盘 AOF持久化是Redis除了RDB备份外的另一种持久化方式。开启AOF持久化后，Redis以日志的形式...
查询和修改数据复制方式
不同复制方式对应的保护级别情况如下：数据复制方式 保护级别 说明 异步模式（默认）最高性能 适合数据持久性要求不高的场景，响应速度最快。强同步模式 最大保护 适合数据持久性要求极高的场景，响应速度较慢。半同步模式 最高可用性 兼顾...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
常见Latency（时延）事件的处理建议
如果是AOF Rewrite导致，且对数据持久化没有要求，建议关闭 appendonly 参数，关闭AOF持久化，关闭后，通常可以解决此类问题。更多信息，请参见 Redis Diagnosing latency issues。相关文档 设置实例参数 发现并处理Redis的大Key和热Key ...
【通知】Redis混合存储型实例停止售卖
单实例成本对比Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。云盘（ESSD）型：基于云盘ESSD研发，兼容Redis核心数据结构与接口，可提供大...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
层次调用规范
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
常见Latency（时延）事件的处理建议
如果是AOF Rewrite导致，且对数据持久化没有要求，建议关闭 appendonly 参数，关闭AOF持久化，关闭后，通常可以解决此类问题。更多信息，请参见 Redis Diagnosing latency issues。相关文档 设置实例参数 发现并处理大Key和热Key 实时Top ...
Tair持久化与备份恢复
类别 实施方案 说明 数据备份 自动或手动备份 Tair 支持数据持久化，会按照默认的策略自动备份数据（基于 RDB），您可以根据业务需求修改自动备份策略，也可以手动发起临时的备份。下载备份文件 Tair 备份文件支持保留7~730天，如果需要更...
Redis持久化与备份恢复
类别 实施方案 说明 数据备份 自动或手动备份 Redis 支持数据持久化，会按照默认的策略自动备份数据（基于 RDB），您可以根据业务需求修改自动备份策略，也可以手动发起临时的备份。下载备份文件 Redis 备份文件支持保留7~730天，如果需要...
使用限制
本文介绍 云原生内存数据库Tair 各数据类型以及部分功能特性的使用限制。项目 说明 List数据类型 List及其包含的元素个数无限制，但单个元素的最大值为512 MB。...数据持久化策略 采用 AOF_FSYNC_EVERYSEC 方式，即每秒fsync策略。
使用限制
您可以在本文中查看 云数据库 Redis 版 各数据类型以及部分功能特性的使用限制。项目 说明 List数据类型 List及其包含的元素个数无限制，但单个元素的最大值为512 MB。...数据持久化策略 采用 AOF_FSYNC_EVERYSEC 方式，即每秒fsync策略。
标准版-单副本
由于该架构只有一个数据库节点，无热备节点用于HA，且不提供数据持久化和备份恢复机制。当数据库节点发生故障时，数据会丢失，系统会重新拉起一个Redis进程（没有数据），当节点故障业务自动切换完成后，应用程序需要将数据重新预热。单...
断网续传
当整个持久化文件占用存储空间>阈值，最久的数据持久化节点将会被删除。默认配置：配置项 默认配置 文件存储目录 gw_history_record_storage_path/linkedge/run/history_record 节点最大个数 gw_history_record_node_num 10个 节点最大存储...
修改持久内存型实例的同步模式
Tair（Redis企业版）持久内存型实例的默认同步模式为异步，若业务场景对数据持久化要求较高，您可以在控制台将其同步模式修改为半同步，提高数据安全性。前提条件 实例为持久内存型，且版本为1.2.4及以上。说明 低版本的持久内存型实例可在...
标准架构
数据可靠 默认开启数据持久化功能，数据全部落盘。支持数据备份功能，用户可以针对备份集回滚实例或者克隆实例，有效地解决数据误操作等问题。同时，在支持容灾的可用区（例如杭州可用区H+I）创建的实例，还具备同城容灾的能力。兼容性 ...
CDM接口数据层设计规范
接口数据层将不同数据域的汇总数据预关联在一个物理表，开放给应用使用，以减少应用层多次重复JOIN的成本开销，CDM接口数据层更适用于实时计算。命名规则：{project_name}.dwi{业务 BU 缩写/pub}{数据域/hbd}{数据粒度缩写}[{自定义表命名...
规划工作空间
数据清洗层（ODS）：按部门划分，不同部门内数据统一口径，清洗掉不宜公开的数据，例如“ods_人力资源部”、“ods_生产部”等。任务节点：只有单一输入、单一产出的SQL任务。数据表：ODS层表。空间成员：各部门委派的数据清洗人员。资源...
架构信息查询导航
对数据持久化无要求的缓存类型业务场景。读写分离版 企业版 社区版 Redis读写分离版本由代理服务器（Proxy Servers）、主备（Master and Replica）节点及只读（Read-Only）节点组成。读取请求QPS压力较大的场景。对Redis协议兼容性要求较高...
公共规范
层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他层提供数据服务。应用层需要积极配合...
混合存储型（已停售）
与 Redis社区版 不同，Tair 混合存储型整合了内存和磁盘二者的优势，在提供高速数据读写能力的同时满足了数据持久化的需求。说明 混合存储型已停止售卖，更多信息，请参见【通知】Redis混合存储型实例停止售卖。推荐选择 持久内存型 实例。...
数仓规划概述
数仓分层 您可以结合业务场景、数据场景综合考虑设计数仓的数据分层，DataWorks为您默认创建业界通用的五层数仓分层：数据引入层 ODS（Operational Data Store）明细数据层 DWD（Data Warehouse Detail）汇总数据层 DWS（Data Warehouse ...
标准版-双副本
数据可靠 默认开启数据持久化功能，数据全部落盘。支持数据备份功能，用户可以针对备份集回滚实例或者克隆实例，有效地解决数据误操作等问题。同时，在支持容灾的可用区（例如杭州可用区H+I）创建的实例，还具备同城容灾的能力。兼容性 ...
创建数仓分层
DataWorks的数仓分层功能，默认为您创建了 数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）及 应用数据层ADS（Application Data...
什么是云原生内存数据库Tair
同时，Tair与新型存储介质——持久内存的高效结合，相比内存型，成本降低30%以上，并能做到数据持久化和提供近似于内存的性能。目前，Tair已广泛应用于政务、金融、制造、医疗和泛互联网等各行业客户，满足客户的高速查询和计算场景。为...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
规格查询导航
持久内存型实例规格 数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时。标准版的持久内存型实例，单实例成本对比Redis社区版最高可降低30%。标准架构：内存容量上限可达64 GB，支持约100,000 QPS。读写...
如何基于LSM-tree架构实现一写多读
与Aurora的 日志即数据库 理念一样，Socrates的节点之间只传输redo日志，也实现了多版本页服务，它的特点是将数据库存储层的持久性与可用性分开，抽象出一套日志服务。整个数据库分为3层，一层计算服务，一层page server服务和一层日志服务...
产品架构
整体架构如下：LindormTable 的数据持久化存储在LDFS中，表的数据通过自动Sharding分散到集群中的多台服务器上，并且每一个分区可以拥有1至N个副本，这N个副本拥有主、从两种角色，主从副本可以加载在不同的Zone，从而保障集群的高可用和强...
- 产品推荐
- 这些文档可能帮助您