多元索引数组类型
在 CREATE TABLE 语句中数组列需要正确设置数组列名和对应的SQL数据类型。在多元索引映射关系时，推荐定义数组列为MEDIUMTEXT类型。创建包含数组类型列的多元索引映射关系，SQL示例如下：CREATE TABLE `test_table_test_table_index`(`col_...
存储格式
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的 I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
数据模型
尽管在HBase概念视图中，表格被视为一组稀疏的行的集合，但它们是按列族进行物理存储的。可以随时将新的列限定符（column_family：column_qualifier）添加到现有的列族。ColumnFamily anchor：Row Key Time Stamp ColumnFamily anchor...
列式JSONB
同时因为JSONB中的Value是按列式存储的，在存储层可以达到像普通结构化数据一样的存储和压缩效率，从而有效降低存储，实现降本增效。说明 JSONB列式存储优化功能对JSON类型数据不适用，实际使用过程中请不要对JSON类型开启列式存储优化。...
创建投递任务
您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的数据列先后顺序分布。注意 投递数据的字段类型必须与数据源的字段类型匹配，否则会作为脏数据丢弃。字段类型映射详情请参见 数据格式映射。taskType 投递...
创建投递任务
您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的数据列先后顺序分布。注意 投递数据的字段类型必须与数据源的字段类型匹配，否则会作为脏数据丢弃。字段类型映射详情请参见 数据格式映射。TaskType 投递...
使用SDK
您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的数据列先后顺序分布。重要 投递数据的字段类型必须与数据源的字段类型匹配，否则会作为脏数据丢弃。字段类型映射详情请参见 数据格式映射。taskType 投递...
通过控制台投递数据到OSS
Schema生成方式 指定需要投递的数据列，可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的数据列先后顺序分布。根据选择的Schema生成方式配置投递Schema。当 Schema生成方式 配置为 手动录入 时，需要手动...
列存索引技术架构介绍
要更进一步的提升分析性能，则需要引入列式存储：在分析场景，经常需要访问某个列的大量记录，而列存按列拆分存储的方式会避免读取不需要的列。其次，列存会将相同属性的列连续保存，其压缩效率也远超行存，通常可以达到10倍以上。列存中大...
PolarDB HTAP实时数据分析技术解密
而列存按列拆分存储的方式会避免读取不需要的列。其次，列存由于把相同属性的列连续保存，其压缩效率也远超行存，通常可以达到10倍以上。最后，列存中的大块存储结构，结合MIN、MAX等粗糙索引信息可以实现大范围的数据过滤。所有这些行为都...
数据类型映射
如果为true，则该列是一个数组。在写入时，也必须按照JSON数组格式写入，例如["a","b","c"]。Nested类型本身就是一个数组，所以无须设置Array。Array类型不影响查询，所以Array类型的数据可以用于所有的Query查询。isVirtualField Boolean ...
导出全量数据到MaxCompute
如果需要使用MaxCompute备份 表格存储 数据或者迁移 表格存储 数据到MaxCompute中使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到MaxCompute后，您可以使用DataWorks数据分析功能查看...
极速同步
查看同步组详情 您可以在 同步组列表 页面单击 同步组名称 列的名称或同步组右侧 操作 列的 详情，查看同步组的详情页面。在 同步组详情 对话框，您可以查看同步组的详细信息。您还可以在右上角选择 图标（列表）或 图标（地图）的形式查看...
Collapse
表示折叠去重的列配置。数据结构 message Collapse { optional string field_name=1;} 名称 类型 是否必选 描述 field_name string 是 列名，按该列对结果集做折叠，只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列。
创建多元索引
如果设置为true，则表示该列是一个数组，在写入时，必须按照JSON数组格式写入，例如["a","b","c"]。由于Nested类型是一个数组，当fieldType为Nested类型时，无需设置此参数。analyzer（可选）：分词器类型。当字段类型为Text时，可以设置此...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
使用函数计算
PrimaryKey 主键列数组。包含如下内部成员：ColumnName：主键列名称。类型为string。Value：主键列内容。类型为formated_value，支持integer、string和blob。Columns 属性列数组。包括如下内部成员：Type：属性列类型，包含Put、...
动态修改schema
如果要实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等数据分析需求，您可以...
功能发布记录
行为变更 列存不再支持Segment存储格式，有Segment格式的实例暂不支持升级到V2.0及以上版本，可以通过工具函数hg_convert_segment_orc完成批量格式转换，详情请参见 更改列存表的数据存储格式。为避免误用Table Group造成资源浪费，从V2.0...
多元索引介绍
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
宽表模型介绍
多元索引统计聚合：使用多元索引统计聚合可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内...
配置高级告警规则
如果需要对多个监控指标配置按比例触发告警规则（例如，数据量达到总存储空间的80%时，触发告警规则），您可以通过企业云监控创建报警规则。前提条件 已创建CPFS文件系统。具体操作，请参见 创建文件系统。已创建报警联系人组。具体操作，...
现代IM系统中的消息系统—实现
本文主要以钉钉（DingTalk）的功能为参照，详细说明如何基于表格存储的Timeline模型实现钉钉的IM功能。以下内容按照聊天系统的消息存储、关系维护、即时感知、多端同步四个功能模块分块，分别介绍每一部分的功能、方案介绍、表设计以及实现...
功能特性
主从实例读写分离部署（共享存储）计算组实例 计算组实例是主从实例的升级模式，支持将计算资源分解为不同的计算组（Virtual Warehouse），计算组独立弹性可扩展（弹性分配、按需创建），计算组之间共享数据、元数据，通过计算组可同时支撑...
通过控制台使用时序模型
表格存储 提供了控制台、命令行工具和Tablestore SDK三种访问方式。通过控制台使用时序模型（TimeSeries）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建时序表、读写时序表中数据以及使用SQL查询数据的操作。前提条件 已...
方案实现
在前文的方案与架构基础上，本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统，并主要使用Timeline模型、基于推模式进行同步。表格存储消息（Timeline）模型是针对...
批计算
对于批计算，Tablestore on Spark提供索引选择、分区裁剪、Projection列和Filter下推、动态指定分区大小等功能，利用表格存储的全局二级索引或者多元索引可以加速查询。前提条件 已创建E-MapReduce Hadoop集群。具体操作，请参见 EMR快速...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
配置高级告警规则
如果需要对多个监控指标配置按运算结果触发告警规则，您可以通过企业云监控创建报警规则。前提条件 已创建NAS文件系统。具体操作，请参见 创建文件系统。已创建报警联系人组。具体操作，请参见 创建报警联系人或报警联系组。已开通企业云...
查询时序数据
表格存储提供了GetTimeseriesData接口用于查询某一时间线在指定时间段时序数据。查询时序数据时，如果不确定要查询时间线信息（例如度量名称、数据源信息），您可以先根据指定条件检索到时间线后再进行查询。功能概述 调用 ...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
SQL查询
创建分析存储的映射关系后，您可以使用SELECT语句查询与分析时序数据。本文通过一个样例介绍如何使用SQL查询。样例场景 某厂商有100000台设备，每台设备每两分钟会生成一组CPU监控数据。为了方便管理和分析设备状态，厂商会将采集的设备...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
折叠（去重）
fieldName：列名，按该列对结果集做折叠，只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列。offset 本次查询的开始位置。limit 本次查询需要返回的最大数量。如果只为了获取行数，无需具体数据，可以设置limit=0，即不返回...
折叠（去重）
FieldName：列名，按该列对结果集做折叠，只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列。Offset 本次查询的开始位置。Limit 本次查询需要返回的最大数量。如果只为了获取行数，无需具体数据，可以设置Limit=0，即不返回...
数据操作篇
如需在单个属性列存储超过 2 MB 的数据，如图片、音乐、文件等，可以使用 OSS（Object Storage Service）对其进行存储。OSS 是阿里云提供的开放存储服务，用以应对海量数据的存储和访问。OSS 的存储单价比表格存储更低，更适合存储文件。...
时序分析存储概述
高数据压缩率存储 列存储能更好地利用数据重复性，结合RLE、DICTIONARY、DELTA、BIT-PACKING等方法进行压缩编码，将数据进行压缩，存储空间利用率高，从而节省存储成本。灵活分层的TTL设置 在同一张时序表上，时序数据存储和时序分析存储...
折叠（去重）
field_name：列名，按该列对结果集做折叠，只支持应用于整型、浮点数和Keyword类型的列，不支持数组类型的列。offset 本次查询的开始位置。limit 本次查询需要返回的最大数量。如果只为了获取行数，无需具体数据，可以设置limit=0，即不...
- 产品推荐
- 这些文档可能帮助您