概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
同城冗余
本地冗余 采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多个设施的多个设备上。本地冗余能确保硬件失效时的数据持久性和可用性。重要 本地冗余的数据冗余在某个特定的可用区内。当该可用区不可用时，会...
创建时空索引
方式二：采用 include(g)进行数据冗余，避免回表查询。CREATE INDEX idx ON point_table(Z-ORDER(g))INCLUDE(g);使用 Z-ORDER 索引函数对g列和t列进行时空编码。方式一：不冗余数据。CREATE INDEX idx ON point_table(Z-ORDER(g,t));方式二...
E-MapReduce本地盘实例大规模数据集测试
本地盘D1机型使用本地盘而非云盘作为存储，解决了之前使用云盘的多份冗余数据导致的高成本问题。同时，在使用本地盘D1机型时，数据的传输不需要全部通过网络，因此该场景提供了与磁盘相同的吞吐能力，可发挥Hadoop就近计算的优势。阿里云E-...
存储冗余概述
对象存储OSS提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。本地冗余存储（LRS）采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内...
应用场景
云数据库Redis版 支持持久化功能，主备双机冗余数据存储。Redis的服务可靠性至关重要，一旦Redis服务不可用，将导致后端数据库无法承载业务访问压力。云数据库Redis版提供双机热备的高可用架构，保障极高的服务可靠性。主节点对外提供服务...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量...冗余数据的保存周期默认是1小时。
纠删码
背景信息 纠删码（Erasure Coding，EC）是一种数据冗余存储机制。它能通过一定的算法将k个原始数据块计算出m个冗余数据块，只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4，m=2 时，在存储效率上等价于1.5...
产品优势
采用数据冗余存储机制，将每个对象的不同冗余存储在同一个区域内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。当数据存入OSS后，OSS会检测和修复丢失的冗余，确保数据持久性和可用性。OSS会周期性地通过校验等方式验证数据...
存储冗余
日志服务 提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。本地冗余存储（LRS）采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多...
基本概念
数据冗余机制 OSS使用基于纠删码、多副本的数据冗余存储机制，将每个对象的不同冗余存储在同一个区域内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。OSS Object操作具有强一致性，当用户收到了上传或复制成功的响应时，则该...
本地盘最佳实践
如果应用没有多节点数据冗余架构，强烈建议您选择云盘。最佳实践 选型 对于大数据、重型数据库应用，带本地盘的实例（例如i2、d1等）在成本、存储访问时延上有着较大的优势。如果您业务场景对存储I/O性能有极高要求，并且应用层具备高可用...
数据安全
本地冗余 采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多个设施的多个设备上。本地冗余能确保硬件失效时的数据持久性和可用性。重要 本地冗余的数据冗余在某个特定的可用区内。当该可用区不可用时，会...
存储类型概述
标准存储-本地冗余（LRS）采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。重要 本地冗余存储类型的数据冗余在某个特定的可用区内。当该可用区...
最佳实践
存储服务数据容灾最佳实践 冗余存储 阿里云对象存储OSS提供本地冗余存储和同城冗余存储两种存储冗余类型，覆盖从单可用区到多可用区的数据冗余机制，以保证数据的持久性和可用性。其中本地冗余存储采用单可用区（AZ）内的数据冗余存储机制...
公共规范
数据冗余 一个表做宽表冗余维度属性时，应该遵循以下建议准则：冗余字段与表中其它字段高频率（大于3个下游应用SQL）同时访问。冗余字段的引入不应造成其本身的刷新完成时间产生过多后延。公共层数据不允许字段重复率大于60%的相同粒度数据...
数据模型架构规范
成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制。数据可回滚 处理逻辑不变，在不同时间多次运行数据的结果需确定不变。一致性 相同的字段在不同表中的字段名必须相同。命名清晰可理解 表命名规范需清晰、一致...
管理Project
本地冗余存储 采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。同城冗余存储 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在...
变更实例节点
为确保在有一个节点异常的情况下仍能以三副本方式进行数据冗余，本地盘实例的 总节点数最少为3个。对Lindorm实例的引擎进行减少节点操作时，请确保降配后的节点数量能满足业务的访问需求。变更实例节点时，如果您遇到困难请 提交工单。操作...
存储类型
本地SSD盘和本地HDD盘默认以三副本的方式进行数据冗余，为确保在有一个节点异常的情况下仍能以三副本方式进行数据冗余，Lindorm限制本地盘实例的 总节点数最少为3个。云存储与本地盘在用量计量上有差异，具体如下：性能型云存储、标准型云...
数仓分层
CDM层又细分为维度层（DIM）、明细数据层（DWD）和汇总数据层（DWS），采用维度模型方法作为理论基础，可以定义维度模型主键与事实模型中外键关系，减少数据冗余，也提高明细数据表的易用性。在汇总数据层同样可以关联复用统计粒度中的维度...
功能特性
数据恢复 多副本高可靠 社区兼容版版支持双副本 ClickHouse社区版支持双副本架构-企业版OSS数据冗余存储 采用OSS共享存储方案，利用OSS数据冗余机制保障数据高可用。多可用区容灾 多可用区容灾 部分Region提供跨机房级别的容灾机制-云盘...
控制台快速入门
本地冗余存储 采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。同城冗余存储（推荐）采用多可用区（AZ）内的数据冗余存储机制，将用户的数据...
应用场景
使用阿里云对象存储OSS作为云上存储，DDI集群提供灵活的计算资源，OSS上的数据可以被多个DDI集群共享，减少数据冗余。同时，DataInsight Notebook支持多用户同时协同工作，您可以在Notebook中完成作业编辑、提交和结果查看。实时数仓 利用...
数据容灾
同城冗余存储 OSS 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%（12个9）的数据设计持久性...
存储和下载健康检查日志
本地冗余存储 采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。同城冗余存储（推荐）采用多可用区（AZ）内的数据冗余存储机制，将用户的数据...
可用性与可靠性
而对于混合云场景，则通过物理机磁盘做RAID阵列的方式做数据冗余，达到相同的效果。异常自动节点切换与宕机自恢复 AnalyticDB PostgreSQL版 会实时不断地探测实例节点的健康状态，如果出现主计算节点异常，则会使用热备节点替换异常节点，...
转换Bucket的存储冗余类型
随着您的业务对数据持久性和服务可用性要求的提高，采用单可用区的数据冗余存储机制的本地冗余存储已不再满足您的业务要求，您可以将Bucket的存储冗余类型从本地冗余存储转换为同城冗余存储，从而具备抵抗可用区级故障的能力。本文介绍如何...
mb（创建存储空间）
ZRS：同城冗余ZRS 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。重要 华南1（深圳）、华北2（北京）、华东1（杭州）、华东2（上海...
二级索引
实际的业务中，如果不满足IMMUTABLE场景，可以通过数据冗余来改造成IMMUTABLE场景。更新自定义时间戳的索引：Lindorm支持自定义时间戳进行写入，可以在任意时间戳进行数据更新，由系统来判断只有时间戳最大的数据生效。自定义时间戳特性在...
企业版及社区兼容版功能对比
存储资源：采用OSS共享存储方案，利用OSS数据冗余机制保障数据高可用，并且相比于社区兼容版存储单价大幅降低。增强特性 特性 说明 存算分离 独立进行存储和计算资源的管理，使得资源管理更加灵活。扩展性 存储资源和计算资源均采用...
开通或关闭数据共享
AnalyticDB PostgreSQL版Serverless模式 实例开通数据共享后，可以实现跨实例联合查询，在保证数据实时性的同时，有效减少数据冗余。使用限制 实例资源类型为Serverless版本。所有实例必须属于同一个阿里云账号。所有实例需要在同一地域下...
跨实例查询
云原生数据仓库 AnalyticDB PostgreSQL 版 通过外部数据包装器FDW（foreign-data wrapper）帮助您轻松快速实现对同一账号中的不同实例进行联合查询，在保证数据实时性的同时，有效减少数据冗余。功能介绍 目前，很多公司或组织同时运行了多...
时空服务介绍
说明 Ganos时空服务支持时空二级索引，所以无需为时空数据冗余一份数据。支持宽表引擎的所有特性 冷存储。冷热分离。动态列。更多特性，请参见 开发指南。应用场景 Lindorm Ganos时空服务适用于出行、航海、航空、车联网、物流等领域的时空...
概述
实时分析 OceanBase 基于分布式架构，在保障高性能的交易处理同时，能够完成实时分析、跑批等分析场景，一套引擎支持 OLAP+OLTP 工作负载，从根本上保持数据的一致性，并最大程度降低数据冗余，帮企业大幅降低总成本。OceanBase 是全球唯一...
对OSS生命周期管理
取值：LRS（本地冗余存储）：采用单可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一个可用区内多个设施的多个设备上。本地冗余存储能确保硬件失效时的数据持久性和可用性。ZRS（同城冗余存储）：采用多可用区（AZ）内的数据...
CreateReplicationVault-创建镜像备份仓库
采用数据冗余存储机制，将每个对象的不同冗余存储在同一个可用区内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。ZRS：标准存储-同城冗余（ZRS）。采用多可用区（AZ）机制，将用户的数据分散存放在同一地域（Region）的 3 个...
Transaction Table2.0概述
因此当前比较典型的解决方案是Lambda架构，全量批处理使用MaxCompute链路，时效性要求比较高的增量处理使用实时系统链路，但该架构也存在大家所熟知的一些固有缺陷，比如多套处理和存储引擎引发的数据不一致问题，多份数据冗余存储和计算...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
PolarDB for AI助力菜鸟实现一站式数据智能
开发难度大：需要Python、SQL、Java等众多开发语言和开发平台，对技术水平要求很高 资源成本高：数据需要在不同业务系统中流转，导致数据冗余、计算资源冗余。解决方案 经过充分的调研和评估，此业务最终采用了DB4AI解决方案，使用PolarDB...
- 产品推荐
- 这些文档可能帮助您