管理数据同步任务和存储表
您也可根据需要在数据同步存储表中新增字段。本文介绍如何查看云产品数据源的同步任务和数据同步存储表。查看同步任务详情 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例 ID 或备注名称。在左侧导航栏，选择 数据服务>数据接...
表格存储中表、行、列、值和电子表格的类比
表格存储中的表存储着用户的结构化数据。用户可以在表中查询、插入、修改和删除数据。一个用户可以拥有多个表。数据在表中以行、列、值的形式来组织。上图展示了表格存储中表及其它概念与电子表格的类比：表：类似电子表格中底端的标签，...
数据转发到表格存储（Tablestore）宽表模型
工作原理 云产品流转将设备的Topic消息转发到表格存储实例中的数据表中存储，使用表格存储的宽表引擎服务。在上图中：数据源：支持的Topic类型消息，请参见 数据格式（非云网关产品和设备）、自定义Topic（MQTT云网关）、消息转发Topic（GB...
如何修改表格存储中已存在的表名称
不支持直接修改表名称。您可以通过新建一个表，然后将当前表中的数据迁移到新表中实现。请使用DataX、通道服务等工具进行数据迁移。具体操作，请参见 将表格存储数据表中数据同步到另一个数据表。
Dataphin中逻辑维表的存储方式是行式存储还是列式存储
问题描述 Dataphin中逻辑维表存储方式是行式存储还是列式存储的？解决方案 逻辑维表最终是物化存储到用户计算引擎的，比如 ODPS和Hadoop计算引擎，都是列式存储的，所以需要看底层计算引擎的存储方式是什么的，不是Dataphin本身决定的，...
查看表和DB的存储大小
如果您需要提高可读性，可以使用 pg_size_pretty 函数进行查询，具体语法如下：查看单表存储 SELECT pg_size_pretty(pg_relation_size('table_name'));查看所有表大小 SELECT table_schema|'.'|table_name AS table_full_name,pg_size_...
表存储格式定义
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
更改列存表的数据存储格式
升级前的数据列存表存储格式为segment，升级至Hologres V0.10版本后，新建的列存表将会默认为AliORC（参数值为orc）存储格式，行存表为sst存储格式。当前版本支持对升级前的历史数据更换，但有如下限制：当前版本仅支持单表转换列存表存储...
表格存储实例中所有数据表都设置加密
表格存储实例中所有数据表都设置了加密，视为“合规”。应用场景 对OTS数据表进行加密，有效提升数据的存储安全性，保障企业的数据安全。风险等级 默认风险等级：中风险。当您使用该规则时，可以按照实际需求变更风险等级。检测逻辑 表格...
创建和管理自定义存储表
开启Flink任务 如果需要将自定义存储表存储的时序数据，集成到实时计算Flink中计算和分析，帮助您实时分析和诊断设备的运行状况，实时检测运行故障，实时预测设备制品良率等，可以开启时序表的Flink任务。说明 数据服务中实时数据集成流出...
表存储格式：列存、行存、行列共存
Hologres支持三种表存储格式，分别为：行存、列存和行列共存，不同的存储格式适用于不同的查询场景，您需要根据表的使用场景设置表的存储格式，合适的存储格式可以显著提高数据处理和查询速度，同时也可以节省存储空间。设置存储格式语法 ...
Dataphin中数据表规则校验结果的存储路径
概述 本文介绍数据表规则校验结果的存储路径。详细信息 这些数据是存储在nightswatch中的表monitor_historical_metric中。适用于 Dataphin
如何查看表的数据存储量
介绍如何查看表的数据存储量。操作步骤 通过控制台在数据表的 基本详情 页签，可以查看表大小，即表的数据存储量。通过控制台在数据表的 监控指标 页签，选择 指标分组 为 表大小，可以查看表大小，即表的数据存储量。
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
Dataphin创建表时不使用STORED和LIFECYCLE参数时表是...
创建的表是如何存储和回收的?解决方案 当在MaxCompute中建表时，不使用STORED AS时，默认存储的是ALIORC格式。当在MaxCompute中建表时，如果指定了回收周期，那么到期后，表资源会被系统自动回收。如果不指定LIFECYCLE参数时，即不设置表的...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
查询可恢复表格存储实例的数据表
查询可恢复表格存储实例的数据表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 ...
使用存储过程将数据导入Hologres内部表（Beta）
通过导入函数语句可以将MaxCompute源头表中的数据导入到Hologres内部表中。示例DDL如下：说明 如果MaxCompute的数据会定期更新，建议在导入之前使用 IMPORT FOREIGN SCHEMA 语句刷新外部表元数据，以获取最新的MaxCompute数据。IMPORT ...
MaxCompute存储服务升级影响Hologres外部表加速查询...
尊敬的Hologres用户：MaxCompute存储服务将于北京时间 2024年3月 起进行架构升级，届时V1.3和V2.0两个大版本中，低于V1.3.58和V2.0.11版本的实例将无法正确解析MaxCompute外部表，有可能出现数据读取不准确的情况。如果您使用Hologres加速...
RDS MySQL使用utf8mb4字符集存储emoji表情
以常见的JDBC连接为例，需要使用MySQL Connector/J 5.1.13及以上的版本，JDBC的连接串中，建议不配置characterEncoding选项。RDS实例：在RDS控制台将character_set_server参数设置为utf8mb4，且数据库和表的字符集也要设置为utf8mb4。修改...
时序模型介绍
以下图为例，时序表中存储了温度（temperature）和湿度（humidity）两种度量类别的数据。图中度量名称（measurement）、数据源（data source）和标签（tags）组成了一个时间线标识。此外，您还可以通过接口更新某个时间序列的元数据属性...
时序模型介绍
以下图为例，时序表中存储了温度（temperature）和湿度（humidity）两种度量类别的数据。图中度量名称（measurement）、数据源（data source）和标签（tags）组成了一个时间线标识。此外，您还可以通过接口更新某个时间序列的元数据属性...
表操作篇
使用示例 例如，有一张表中存储了某大学内所有学生使用学生卡消费的记录。主键列有学生卡 ID（CardID）、商家 ID（SellerID）、消费终端 ID（DeviceID）、订单号（OrderNumber）。同时我们有如下约定：每一张学生卡对应一个 CardID，每一个...
管理离线数据归档
时序/快照表中 的 产品属性时序表、产品事件表 自定义存储表 中的 分区表、时序表 数据归档存储成功后，在分析洞察的SQL数据服务工作台，无法再查询到对应的归档数据进行分析。如果需要在分析洞察中对已归档的数据进行查询和分析，可以撤销...
常见问题
相反，20 GB作为Object的历史版本在Bucket中存储了30天，而40 GB作为Object的最新版本在Bucket中存储了15天。按照存储费用的按量付费计算规则得知，则该Object当月的存储费用为：20 GB×0.12元/GB/月+40 GB×0.12元/GB/月÷30天×15天=4.8...
配置目标节点
如果已选择自定义存储表已包含字段，输出字段必须是目标自定义存储表中存在的字段（字段定义一致），且包含目标自定义存储表中的主键。如果不满足以上要求，需返回目标节点之前的处理节点，修改输出字段符合目标自定义存储表中字段要求。...
数据类型
了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...
转换存储类型
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
如何选择二级索引和多元索引
为了确保主键的唯一性，表格存储会将数据表的主键列自动补齐到索引表中。表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，正常情况下同步延迟达到...
离线数据存储概述
应用场景 除了查看数据外，数据存储中的存储表，可应用于以下功能。作为查询对象，应用于 SQL分析。作为数据来源应用于以下功能。数据可视化 数据API 平台系统表 您可以在平台系统表，以表格的形式，存储产品、设备、设备分组的基本信息，...
索引介绍
您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表模型通过数据表存储数据。不同的数据分区可以加载到不同的机器上，实现水平扩展。如下图所示。表格存储的宽表模型包含多个主键列，多列主键列按照...
SQL查询常见错误排查
通常是由于为数据表创建映射关系后，在数据表中新增了字段，但是未在对应映射表中添加新增的字段。映射表中需要包含查询所需的字段，请在映射表中添加新增的字段。具体操作，请参见 更新映射表属性列。OtsRequestTimeout Search engine:...
SQL概述
由于表格存储中原始表的列名大小写敏感，当使用SQL时，原始表的列名会统一转换为小写字母进行匹配，即如果要操作表格存储表中的Aa列，在SQL中使用AA、aa、aA、Aa均可，因此表格存储原始表的列名不能同时为AA、aa、aA和Aa。保留字与关键字 ...
实例
具体操作，请分别参见 将表格存储数据表中数据同步到另一个数据表 和 将表格存储时序表中数据同步到另一个时序表。不论当前实例规格，使用多元索引时均会产生高性能存储量、预留读吞吐量与按量读吞吐等。更多信息，请参见 多元索引计量计费...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确认已安装支持数据湖投递功能的表格存储Go SDK。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket。具体操作，请参见 开通OSS服务。已通过...
计费案例
王先生于2021年11月在华东1（杭州）地域的Bucket内存储了1 TB的标准存储（本地冗余）类型文件，并在当月通过华东1（杭州）地域的阿里云ECS实例使用Bucket的内网地址访问该Bucket中的资源，共产生100 GB的内网流出流量、10万次的API请求次数...
创建投递任务
通过创建投递任务，您可以将表格存储数据表中的数据投递到OSS Bucket中存储。注意 请确保已安装支持数据湖投递功能的表格存储Java SDK。关于表格存储Java SDK版本的更多信息，请参见 Java SDK历史迭代版本。前提条件 已开通OSS服务且在表格...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
同步增量数据到OSS
如果所用的数据存储模型是宽表模型（即使用数据表存储数据），则需要同步数据表中的数据，请按照 同步数据表数据的任务配置 进行配置。如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照 同步...
使用SDK
创建投递任务后，表格存储数据表中的数据会自动投递到OSS Bucket中存储。注意事项 目前支持使用数据湖投递功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）和华北3（张家口）。数据湖投递不支持同步删除操作，表格存储中的删除...
- 产品推荐
- 这些文档可能帮助您