数据压缩
物联网平台的数据压缩功能，可以对设备与物联网平台之间的数据传输进行压缩处理。通过对消息的压缩，达到节约设备流量和提高传输速度的效果。本文介绍数据压缩功能的使用。使用限制 仅尊享型企业版实例和标准型企业版实例支持数据压缩。仅...
Logview诊断实践
解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，如果相同的数据都排布在一起，就可以获得很高的压缩率。写表的数据分布情况主要取决于写...
概述
物联网平台的数据压缩，支持设备与物联网平台之间的传输压缩数据。通过对消息的压缩，达到节约设备流量和提高传输速度的效果。本文介绍数据压缩功能的使用。前提条件 已获取设备认证信息。具体操作，请参见 获取设备认证信息。已获取C Link...
S3协议数据压缩
开启桶的数据压缩 将桶标签（Bucket Tagging）中的 compression 参数设置为 zlib，为桶中的对象添加压缩算法即可开启桶的数据压缩功能。重要 未设置 compression 参数时，桶默认不开启压缩。数据压缩功能在设置压缩算法的5~10分钟后才可...
设置预分区
COMPRESSION HBase表的数据压缩格式，具体请参见 数据压缩与编码。NUMREGIONS 表示地域的个数，一般按照每个地域使用6~8 GB的存储量来计算地域数量。如果集群规模大，地域数量可以设置多。SPLITALGO 表示Rowkey分割的算法。云数据库HBase...
设置列存数据压缩算法
LZ4：一种无损数据压缩算法，压缩速度大于每核500 MB/s。具体可参见 LZ4 GitHub。ZSTD（全称Zstandard）：一种无损数据压缩算法，压缩速度与LZ4相当。具体可参见 Zstandard GitHub。建表时设置压缩算法 语法：在建表时，您只需要在 CREATE ...
引擎功能
高效时序存储技术 时序数据压缩 Lindorm时序引擎使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。冷数据归档能力 Lindorm时序引擎支持将长期存储的冷数据归档到...
X-Engine引擎常见问题
X-Engine是阿里巴巴自研的基于LSM-tree架构的存储引擎，提供了强大的数据压缩能力，满足了归档数据库低存储成本的要求。通过LSM-Tree（Log-Structured Merge-Tree）层次化架构和Zstandard（ZSTD）压缩算法实现了更高的数据压缩率，对比使用...
压缩测试
背景信息 Lindorm除多模超融合、开放兼容和云原生弹性等能力外，还具备了高效的数据压缩能力。Lindorm不仅支持深度优化的ZSTD压缩算法，还在此基础上对字典采样进行了优化，进一步减少存储成本。本文测试压缩能力所使用到的数据库版本及其...
实例选型和集群规划
列存储支持较高的数据压缩率，可以达到2~5倍的压缩比，即对于1 TB原始数据，入库后若采用了列存储压缩设置，数据在0.5 TB以内，那么可以按1 TB的用户数据存储空间来规划集群实例规格。云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可...
Beam概述（公测）
Beam支持多种压缩算法，其中字典编码功能可以将字符串类型的数据压缩为整型数据，提升存储效率，加速过滤、聚合等类型查询的性能。详情请参见 字典编码（公测）。如果您经常对某列或某几列进行范围查询或等值筛选，可以指定Beam排序键提升...
RDS MySQL逻辑备份文件恢复到自建数据库
执行如下命令解压逻辑备份文件，包括系统默认的数据库压缩文件以及自行创建的数据库压缩文件。tar xvf<自定义文件名>.tar-C/tmp 示例如下：tar xvf hins123456.tar-C/tmp 说明 如果解压过程中出现类似 This does not look like a tar ...
应用场景
这些服务都具有高效的数据压缩、列式存储和并行查询等特性，使其在大数据分析场景中表现出色。可以用于用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来...
点云压缩
智慧城市：对城市三维重建产生的点云信息进行有效的数据压缩，实现数据流畅的渲染展示。混合现实：为混合现实场景中的点云数据提供实时编码解码能力。注意事项 点云压缩仅支持同步处理（x-oss-process处理方式）。使用点云压缩前，需要先...
图扑案例
利用Lindorm自研的数据压缩存储和存储优化能力，海量低价值密度的监控数据存储成本也有大幅度降低。为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 ...
迁移时变更压缩和编码方式
如果需要在数据迁移时改变数据的压缩方式或编码方式，您可以参考本文提供的操作方法，在创建迁移任务时添加相关参数对迁移配置进行调整。前提条件 检查源集群、目标集群、LTS的网络连通性。已添加源实例、目标实例的数据源。如何添加，请...
使用说明
PolarDB MySQL版 支持使用X-Engine引擎，其具有较高的数据压缩率，非常适合对计算诉求不高但需要存储一些归档类数据（如钉钉消息等数据）的业务。X-Engine引擎可以与InnoDB引擎共存，对于归档类的数据采用X-Engine引擎进行压缩存储，以节省...
使用float2类型压缩存储向量
Time:5507.388 ms(00:05.507)距离计算 为了方便距离计算，当前的系统针对float2[]类型，提供了欧式距离计算，系统在内部会将float2类型的数据，隐式的转成float4类型的数据，来计算相关的距离。示例：计算欧式距离。SELECT L2_DISTANCE...
Query Profile介绍
指标 说明 CompressedBytesReadLocalDisk 从计算节点的本地缓存读取的经过压缩后的数据量。CompressedBytesReadRemote 从OSS读取的经过压缩的数据总量。IOTimeLocalDisk 从本地缓存读取数据时所产生的I/O操作耗时。IOTimeRemote 从OSS读取...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
Readable Protobuf
说明 经过ZLIB压缩的数据可以使用 UNCOMPRESS()函数来进行解压，且解压后的数据为十六进制的数据。取消字段的Protobuf schema定义 将Protobuf schema设置为空，即可取消字段的Protobuf schema定义。命令如下：ALTER TABLE table_name ALTER...
SQL结果集导出
该实例下的数据库包含您待导出的数据。录入实例的具体操作，请参见 云数据库录入、他云/自建数据库录入。注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。...
存储费用
MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...
主备方案介绍
故障自动容错原理：单机宕机和集群宕机测试结果如下。以下是单机宕机吞吐对比图和单机宕机平均响应对比图。以下是集群宕机吞吐对比图和集群宕机平均响应对比图。主备容灾原理介绍 当云数据库HBase实例因不可预料的原因（例如设备故障、机房...
读写外部数据文本文件（oss_fdw）
阿里云支持通过oss_fdw插件将OSS中的数据加载到RDS PostgreSQL数据库中，也支持将RDS PostgreSQL数据库中的数据写入OSS中。前提条件 RDS PostgreSQL实例大版本为10或以上。说明 如果实例版本为PostgreSQL 14，需要内核小版本大于等于...
存储资源
可能原因包含数据库服务进程异常退出、数据库节点宕机、数据库网络异常等，常见的容错策略如下：自动重启：当数据库实例异常终止或崩溃时，可以设置自动重启和恢复机制，自动重新启动数据库服务，并进行必要的数据恢复操作，以确保数据库的...
购买包年包月集群
PSL4：PolarDB 全新推出的存储类型，采用阿里巴巴自研的 硬件压缩盘（Smart-SSD）技术，在物理SSD磁盘层面压缩、解压缩存储的数据，保持性能影响可控的情况下，使单位容量数据的存储价格更低。说明 对于已创建的集群，存储类型不支持切换。...
购买按量付费集群
PSL4：PolarDB 全新推出的存储类型，采用阿里巴巴自研的 硬件压缩盘（Smart-SSD）技术，在物理SSD磁盘层面压缩、解压缩存储的数据，保持性能影响可控的情况下，使单位容量数据的存储价格更低。说明 对于已创建的集群，存储类型不支持切换。...
PSL4发布说明
通过FPGA/ASIC芯片进行数据压缩可以减少写入存储介质的数据量，从而节省更多的存储空间。更多的空闲空间可以有效降低SSD磁盘固有的写放大，从而实现了性能的显著提升。数据被压缩后，物理Flash的存储数据访问量减少，从而提升了数据的访问...
PSL4发布说明
通过FPGA/ASIC芯片进行数据压缩可以减少写入存储介质的数据量，从而节省更多的存储空间。更多的空闲空间可以有效降低SSD磁盘固有的写放大，从而实现了性能的显著提升。数据被压缩后，物理Flash的存储数据访问量减少，从而提升了数据的访问...
PSL4发布说明
通过FPGA/ASIC芯片进行数据压缩可以减少写入存储介质的数据量，从而节省更多的存储空间。更多的空闲空间可以有效降低SSD磁盘固有的写放大，从而实现了性能的显著提升。数据被压缩后，物理Flash的存储数据访问量减少，从而提升了数据的访问...
接入阿里云ECS自建数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。集中模式接入 登录 DAS控制台。在控制台首页的 热荐功能 区域单击 快速实例接入。单击...
通用参考：添加路由
以该方式添加路由时，请确保所要连通的数据源在该交换机下。如果目标数据源有多台机器且在不同的交换机下，请为每台交换机添加路由。固定IP：您可以输入独享资源组需要访问的 目标IP 作为路由目标。此处输入的IP地址为VPC内部的IP，且是您...
接入其他自建或其他云厂商数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。主机模式接入 登录 DAS控制台。DAS控制台首页的 热荐功能 区域单击 快速实例接入。...
存储压缩
另一方面，压缩后的数据由于体积更小，在写入和查询时可以节约一定的I/O带宽，对于I/O密集型场景能够提高性能。性能测试 下图是ZLIB、ZSTD和LZ4的性能参数对比。ZSTD算法在压缩速度、解压缩度和压缩率三个维度上比较均衡，实践上推荐优先...
按扫描量付费
压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据，从而节省扫描费用。数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描...
功能特性
RDS MySQL备份策略 RDS SQL Server备份策略 RDS PostgreSQL备份策略 PolarDB MySQL备份策略 通用压缩 支持备份数据的通用压缩能力，在备份时开启数据压缩，减少存储的空间。备份设置 数据能力 下载备份 支持下载备份数据，可用于长期保留...
成本
存储压缩表的数据在查询时需要进行解压缩，同时由于所需存储空间较小、能够节约一定的IO带宽。因此在IO速度较慢时能够提高查询性能（如机械硬盘场景），反之则对查询性能有一定影响。LZ4算法的解压缩速度约为ZSTD解压缩速度的三倍，因此对...
按量付费标准版
通常，压缩后的数据量与上传数据之前您自己统计的数据量不同，会被压缩至原数据量的五分之一。详细计费规则请参见 存储费用。上传数据资源 数据上传至MaxCompute不产生费用。下载数据资源 仅对通过公网下载的数据按量收费，详细计费规则请...
使用Simple存储策略
因此Ganos扩展了一种简单的存储策略，即Simple存储策略，它允许用户将数据采用自定义的压缩算法压缩后存储，并尽可能将压缩后的数据存储在基础表内，从而达到节约存储成本的同时又尽可能减小对查询性能的影响。使用方法 设置GUC参数，该...
- 产品推荐
- 这些文档可能帮助您