如何实现一键转冷存
参数 参数名称 描述 relname 对象（表\索引）名称 说明 如果是非分区表或子分区表，则会将表本身的数据转为OSS存储，索引数据存储位置不变。如果是分区表，请使用 polar_alter_partitioned_to_oss。如果是索引，则会将该索引本身的数据转为...
如何实现一键转冷存
参数 参数名称 描述 relname 对象（表\索引）名称 说明 如果是非分区表或子分区表，则会将表本身的数据转为OSS存储，索引数据存储位置不变。如果是分区表，请使用 polar_alter_partitioned_to_oss。如果是索引，则会将该索引本身的数据转为...
时序分析存储概述
使用分析存储（Analytical Store）功能，您可以低成本存储时序数据以及快速查询和分析时序数据。分析存储功能主要用于时序数据长期存储和分析场景。背景信息 分析存储是 表格存储 针对时序场景进行定制优化的低成本存储引擎。分析存储不仅...
开源Elasticsearch FAQ
建议您将单个分片存储索引数据的大小控制在30 GB以内，不要超过50 GB，否则会极大降低查询性能。根据上述建议，最终分片数量=数据总量/30 GB。适当提升分片数量可以提升建立索引的速度。分片数过多或过少，都会降低查询速度，具体说明如下...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
概述
多元索引 存储 多元索引存储的数据量大小。单位为字节。行数 多元索引同步数据表的行数。预留读CU 多元索引的预留CU个数。报警规则说明 通过云监控控制台，您可以为不同监控指标设置报警规则。当资源的监控指标达到报警条件时，云监控会...
多元索引计量计费
使用多元索引时，索引数据会产生额外的数据存储量，索引查询也会消耗读吞吐量。本文介绍了多元索引的计费项、计费公式、计费示例以及常见问题。注意事项 索引单独计量计费，和数据表无关。多元索引的各计费项的价格和高性能实例费用一致。...
二级索引简介
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。覆盖索引 支持索引表中带有属性列。在创建数据表时预先定义一些列（称为预定义列）后，您...
索引管理
索引类型 云原生数据仓库AnalyticDB PostgreSQL版 支持如下索引类型：B-Tree索引（默认索引类型）位图索引 说明 位图索引（Bitmap Index）为每一个键值都存储一个位图，位图索引提供了和常规索引相同的功能且减少索引空间。对于拥有100至...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
内核增强版高级特性应用
日志场景一般管理的索引数、数据量比较大，而大批量删除索引或数据（如减少TB级别索引副本数），可能会影响节点稳定性，建议避免一次性大批量删除索引，结合ILM管理索引生命周期，将大数据量索引建议拆分成小索引。索引存储到Openstore智能...
CREATE DATABASE
partition_interval BIGINT 分区时长，同一时间段的数据和索引存储在一个时间分区，单位为天。关于默认值，需注意以下内容：3.4.19及以上版本的时序引擎，partition_interval 参数默认值为30。3.4.19之前版本的时序引擎，partition_...
索引选择策略
表格存储作为海量结构化大数据存储，支持不同的索引结构，便于不同场景的查询分析加速使用。使用SQL查询功能时，您可以通过显式访问二级索引表进行索引查询。对于多元索引，表格存储提供了自动多元索引选择策略和显式访问多元索引两种方式...
数据集成服务
且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现...
内核版本发布记录
支持堆外FST，单节点支持存储最大20 TB的索引数据。1.0.2内核版本发布说明 支持查询 access.log，包括请求时间、客户端来源、请求内容等，可用于问题排查和请求分析。1.0.1内核版本发布说明 支持配置JVM熔断策略，JVM达到95%后会拒绝请求...
什么是备份数据量
常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲...
使用SQL查询数据时如何选择查询方式
背景信息 表格存储作为结构化大数据存储，支持不同的索引结构，便于在不同场景的查询分析加速使用。索引结构包括通过数据表主键进行的单行读（GetRow）和范围读（GetRange）、自定义配置主键的二级索引表以及支持倒排索引和多维空间索引的...
文件系统存储类型
大数据分析 低频存储可以为基因测序数据、GIS地理信息数据、票据影像数据和音频录音文件数据等海量非结构化的数据提供低成本、大容量的存储空间，同时还可以实时访问数据。备份存储 若您使用通用型NAS作为MySQL、Redis、MongoDB等数据库的...
多元索引介绍
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。使用多元索引时，索引数据量占用的存储空间为多元索引存储，通过多元索引查询与分析数据会消耗计算资源。按量模式：...
产品优势
高性能 ms级别查询性能，支持向量化计算以及分行分列索引存储，性能大幅领先开源系统；在线召回引擎前置过滤以及join逻辑，避免跨系统交互延迟，减少过滤等逻辑后置导致在编排层的复杂处理消耗；4.提升效果：加载全量索引（例如i2i，加载全...
数据类型
了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...
重建索引
当您需要对历史数据配置索引或修改索引时，可以使用重建索引功能。日志服务支持在选定的时间段中按照最新的索引规则为Logstore重建索引。本文介绍如何在日志服务控制台上重建索引及相关信息。前提条件 已开启索引。具体操作，请参见 创建...
算子
Filter AnalyticDB MySQL版 支持两种数据过滤过程：数据源过滤：使用存储层数据的索引进行过滤。说明 没有独立的算子用于表示数据源过滤过程，该过程中的过滤条件会体现在TableScan算子中。关于TableScan算子的详情，请参见 TableScan。非...
多元索引虚拟列
使用多元索引虚拟列功能时，您可以通过修改多元索引schema或者新建多元索引来实现新字段新数据类型的查询功能，而无需修改表格存储的存储结构及数据。说明 关于多元索引虚拟列的更多信息，请参见 虚拟列。注意事项 SQL查询目前不支持多元...
OpenMetaQuery
关于数据索引计费项的更多信息，请参见 数据索引费用。建立索引所需时间 开启元数据管理功能时，建立索引所需时间与Bucket内存量文件数量成正比。文件数量越多，建立索引的时间越长。请求语法 POST/?metaQuery&comp=add ...
按写入数据量计费模式计费项
日志服务按写入数据量计费模式的计费项是单独计费的，例如您上传数据会产生数据写入费用，存储日志会产生日志存储费用等。本文介绍日志服务按写入数据量计费模式计费项及付费方式。日志服务按写入数据量计费模式的计费项如下所示，详细价格...
计算与分析概述
表格存储 多元索引 宽表模型 多元索引 多元索引基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求，以及求最值、统计行数、数据分组等数据分析需求时，...
创建和使用CCI
排序键：索引的排序键，即数据在索引文件中按照该列有序存储。索引分区子句：索引的分区算法，与 CREATE TABLE 中分区子句的语法一致。CREATE CLUSTERED COLUMNAR INDEX index_name ON tbl_name(index_sort_key_name,.)[partition_options]...
冷热分离介绍
Lindorm宽表引擎的冷热分离功能可以将冷热数据分别存储在不同的介质上，有效降低了数据的存储成本。同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
IndexSetting
表示多元索引的路由字段等配置信息。数据结构 message IndexSetting { repeated...在进行索引数据写入时，表格存储会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。相关操作 CreateSearchIndex
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 数据库实例为 PolarDB MySQL版。数据库实例内存需要大于等于8 GB。数据库实例需要开启performance_schema，开启方法请参见 ...
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 数据库实例为：RDS MySQL MyBase MySQL 说明 不支持 RDS MySQL 基础系列。不支持 RDS MySQL 5.5。数据库实例内存需要大于...
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 数据库实例为：RDS MySQL 说明 不支持 RDS MySQL 基础系列。不支持 RDS MySQL 5.5。MyBase MySQL PolarDB MySQL版 数据库...
Napatech案例
Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 实例为RDS MySQL。说明 不支持RDS MySQL基础系列。不支持RDS MySQL 5.5。数据库实例内存需要大于等于8 GB。数据库实例需要...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
新功能发布记录
时间戳支持一键填写当前时间 2023-10-12 实例规格调整 新增 节点支持更小规格起售：查询节点2核8G，数据节点2核16G 查询节点、数据节点支持云盘型和SSD型 单实例索引存储提供100G免费额度 实例租用费调整 2023-10-10 产品新功能迭代 新增 ...
Trajectory最佳实践
采用合理的分区表 随着使用时间的增加，数据库中的轨迹数据量也不断增加，导致数据库索引变大，查询变慢。您可考虑采用分区表的模式降低单表数据量。使用分区表请参见PolarDB文档中 分区表使用。减少使用字符串类型属性 轨迹属性中如有大量...
Trajectory最佳实践
采用合理的分区表 随着使用时间的增加，数据库中的轨迹数据量也不断增加，导致数据库索引变大，查询变慢。您可考虑采用分区表的模式降低单表数据量。使用分区表请参见PostgreSQL文档中 分区表 相关章节。减少使用字符串类型属性 轨迹属性中...
- 产品推荐
- 这些文档可能帮助您