列数据转KV
组件为数据预处理组件，将多列数据转换为Key:Value格式的一列数据。使用限制 支持的计算引擎为MaxCompute和Flink。算法简介 将数据格式从多列转成Key:Value格式，用户可以指定Key之间的分隔符和Key与Value之间的分隔符。转换之后，多列数据...
行转列及列转行最佳实践
行转列 将多行数据转换成一行显示，或将一列数据转换成多列显示。列转行 将一行数据转换成多行显示，或将多列数据转换成一列显示。示例数据 为便于理解后续代码示例，本文为您提供源数据，并基于源数据提供相关转换示例。创建用于实现 行转...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
Broker Load
从HDFS导入一批数据 file1.txt，指定超时时间和过滤比例，并且将原有数据中与导入数据中 age的列相匹配的行删除，其他行正常导入，示例如下。LOAD LABEL test_db.test_05(MERGE DATA INFILE("hdfs:/hdfs_host:hdfs_port/example/file1.txt...
方案设计
另一方面，如果我们把一个平面的格点数据存储到一列中，在整读整取时效率比较高，但是如果只读取某个点，就会读取很多的无效数据，效率又会变得比较低。因此我们采取一种折中的方案，对平面的二维数据再次进行切分，切分成更小的平面数据块...
数据库权限模型
如果您希望某个用户只查询某一张表的某一列数据，可以将该列的SELECT权限授予该用户，例如 GRANT select(customer_id)ON customer TO 'test321'。操作和权限关系 操作 需要的权限 权限支持的粒度 SELECT SELECT GLOBAL DB TABLE COLUMN ...
CREATE INDEX
Lindorm提供了 三种 高效易用的索引：二级索引、搜索索引和列存索引，分别适用于非主键匹配场景、多维查询场景 和列存储数据查询场景。在使用CREATE INDEX语法创建索引时，您可以指定索引类型并添加索引属性。引擎与版本 CREATE INDEX语法...
交叉表
其中一组列在表的左侧，另一组列在表的上部。行和列的交叉处可以对数据进行多种汇总计算，例如求和、平均值、记数、最大值和最小值。本文为您介绍如何为交叉表添加数据并配置样式。前提条件 已创建仪表板，请参见 新建仪表板。图表概述 ...
分区表常见问题
PolarDB MySQL版 是基于共享存储和一写多读的计算存储分离架构的集中式数据库，单分区或单表数据量最大64 TB，不必过早考虑分库分表。使用 PolarDB MySQL版 数据库，单张表数据量太大，想使用分表，如何使用？建议使用分区表。分区表的更多...
分布表
特别对于列存表，会把每一列存在一个物理表中，因此如果这个表有100个列，系统就需要为该表管理十多万个文件。因此，在分区表设计之初首先需要考虑未来分区的总数，进而选择合理的分区定义。分区裁剪 云原生数据仓库AnalyticDB PostgreSQL...
实例规格
实例规格 实例规格包括分...列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能得到完整的结果。
如何对JSON类型进行高效分析
传统数据库执行上述SQL时，当使用Nested Loop Join算子时，每一张product表的每一行均需要重复读取purchase表的item整列数据，同时反复解析JSON列数据并抽取出指定字段，使得查询效率不佳。传统数仓解决方案 数据仓库的处理流程通常包括...
使用限制
本文介绍Lindorm时序引擎数据库对象的使用限制。数据库对象 说明 database名称 由大写字母、小写字母、数字、下划线其中的一种或多种组成，长度为2~64个字符。...列数量 一张表最多可创建1024列，其中包含tag列、timestamp列、field列。
基础概念
分片规格 即计算资源的规格 分片 即分列，列是partition的意思，如果索引量太大，单机无法放下，可以按某一列（比如item_id）做hash分成多列，列与列之间数据不一样，但是配置是一样的。每个请求过来BE会请求多列，将所有列结果合并后才能...
如何使用预定义列
二级索引的属性列必须为预定义列的一列或者多列。假设数据表的主键包括pk1、pk2和pk3三列，预定义列包括col1和col2两列，属性列包括col3和col4两列。创建二级索引时，pk1、pk2和pk3只能作为二级索引的主键列，col1和col2可作为二级索引的...
名词解释
索引可以看作是表中一个或多个列的快速访问入口，可以根据某个特定的列值快速定位到想要访问的数据。宽表引擎支持多种索引，例如二级索引、搜索索引。时序引擎暂不支持自定义索引。DYNAMIC COLUMN 〇 ✖️ Dynamic Column（动态列）是指在...
主键列自增
设置非分区键的主键列为自增列后，在写入数据时，无需为自增列设置具体值，表格存储 会自动生成自增列的值。该值在分区键级别唯一且严格递增。...} 计费说明 使用主键列自增功能不影响现有计费规则，返回的主键列数据不会额外消耗读CU。
聚集列（2.0版）
在分析型数据库MySQL版中，数据存储支持按一列或多列进行排序（先按第一列排序，第一列相同情况下使用第二列排序），以保证该列中值相同或相近的数据保存在磁盘同一位置，这样的列我们称之为聚集列。当以聚集列为查询条件时，由于查询结果...
原子计数器
假设您需要使用表格存储来存储图片元信息并统计图片数信息，数据表内每一行对应某一个用户ID，行上的其中一列用于存储上传的图片，另一列用于实时统计上传的图片数。使用UpdateRow接口增加一张新图片时，原子计数器+1。使用UpdateRow接口...
如何选择二级索引和多元索引
可选数据表中的任意主键列或者预定义列 必须和数据表的第一列主键相同 同步延迟 毫秒级别 实时 读取一致性 最终一致性 强一致性 多元索引 多元索引相比数据表主键查询和二级索引，底层增加了倒排索引、多维空间索引等，支持多字段自由组合...
索引选择
常见的超大规模数据都带有一些时间属性，例如大量设备产生的数据（监控数据）或者人产生的数据（消息、行为数据等），这类数据非常适合采用表格存储进行存储。针对这类数据建立索引的组合方案如下：对元数据表建立多元索引，全量数据表不...
分析数据
单击右上方的 详细模式，您可以在 详细模式 对话框中，查看每列数据的 字段名称、字段类型、字段中文名、字段描述 和 安全等级 等探查结果。数据探查详细模式的说明如下：针对STRING和DATE类型：为您展示字段个数、唯一值、有效值、空值率...
分区索引
分区索引是为了解决大宽表的存储和高并发访问问题而设计的一种新特性。创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生...
数据版本和生命周期
当某一行的某个属性列数据的版本号为1468943999000（换算成秒后即 2016-07-19 23:59:59 UTC+8）时，该行数据写入失败。创建数据表时，如果未设置有效版本偏差，则系统会使用默认值86400，您也可以自定义数据有效版本偏差。创建数据表后，您...
分区和列操作
MaxCompute支持对已有表的分区和列执行变更操作，如添加分区、添加列、删除列、更改列数据类型等，您可以根据实际业务场景执行相应操作。MaxCompute SQL的分区和列操作命令如下。类型 操作 功能 角色 操作入口 分区操作 添加分区 为已存在...
Quick BI报表中如何隐藏某一列数据不显示
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI创建的仪表板中的交叉表如何隐藏某一列数据的展示。问题描述 仪表板中数据的某一列是否可以隐藏，如何隐藏交叉表中的某一列数据不显示。问题原因 新版本的Quick BI仪表板中...
列存索引技术架构介绍
其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行查询框架（Parallel Query）可以在查询数据量到达一定阈值时，自动启动并行执行。在存储层将数据分片到不同的...
多元索引数组类型
本文介绍如何通过SQL查询功能查询数组类型的列数据。说明 关于数组类型的更多信息，请参见 数组类型。注意事项 SQL查询目前不支持多元索引 Geo-point 类型。要使用数组类型，在数据表中的列数据类型必须为字符串。创建多元索引时，该列的...
CREATE TABLE
主键（primary_key）主键是表中数据的唯一标识，由一列或多列组成，建表时 必须指定主键 PRIMARY KEY。在使用 CREATE TABLE 语句建表时，需要注意以下内容：引擎类型 主键使用说明 宽表引擎 单个主键列的最大长度为2 KB。所有主键列的长度...
多元索引介绍
当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为多元索引中的字段并使用多元索引查询与分析数据。背景信息 多元索引可以解决大数据中复杂的查询...
pg_attribute
目录 pg_attribute 存储有关表列的信息。数据库中的每一个表的每一个列都恰好在 pg_...这种安排用于处理一种情况，即被删除列的数据类型后来被删除，并且因此不再有相应的 pg_type 行。attlen 和其他域可以被用来解释表的一行的内容。
通过控制台使用宽表模型
表主键 表中的一列或多列，用于唯一标识表中的一条记录。输入表主键名称并选择数据类型，单击 添加表主键，可加入新的主键。单表最多可设置4个主键，第一个主键默认为分区键。主键的配置及顺序设置后不能修改。重要 表格存储 支持将主键列...
OceanBase 数据库之间的数据迁移
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
数据类型
云数据库 SelectDB 版 的数据类型与MySQL的数据类型高度兼容。本文为您介绍SelectDB支持的数据类型。概述 云数据库 SelectDB 版 支持标准SQL语法，采用MySQL网络连接协议，高度兼容MySQL相关生态。目前SelectDB版本支持的数据类型是MySQL的...
表格存储建表注意事项
所有的分区键列值范围是按照其列值自然序切分的，即按照Integer或String（主键列数据类型）的自然序切分。除了会影响到数据访问的性能，数据的分区也会影响到您预留读/写吞吐量的使用率。当表拥有多个分区时，该表的预留读/写吞吐量会按照...
同步 OceanBase 数据库的数据至 RocketMQ
注意事项 当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则同步目标端时该列将同步为 NULL 值，导致下游接收该列数据时不符合预期。当更新的行包括 LOB 列时：如果 LOB 列为更新列，请勿依赖 LOB 列在 UPDATE...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
深度解析Lindorm搜索索引（SearchIndex）特性
实现原理 Lindorm作为一款多模数据库，同时支持多种模型，将搜索引擎与宽表模型深度融合，对外提供简单易用的SearchIndex，整体的分层架构如下：查询接入 由多个QueryProcessor节点组成，主要负责查询接入，进行SQL解析，基于RBO自动选择...
Tablestore数据源
列模式：在Tablestore多版本模型下，表中的数据组织为 行>列>版本 三级的模式，一行可以有任意列，列名并不是固定的，每一列可以含有多个版本，每个版本都有一个特定的时间戳（版本号）。列模式会将数据导出为（主键值，列名，时间戳，列值...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
- 产品推荐
- 这些文档可能帮助您