Event Time Column（Segment Key）
如果表不存在明显的单调递增或单调递减的字段，可以选择额外扩充一列 update_time，每次UPSERT时将当前时间写入该新增字段。Event_time_column具备左匹配原则，因此不建议将多个字段设置为Event_time_column，否则使得查询场景受限，达不到...
数据写入、更新、点查场景压测最佳实践
时间列 ts：作为表的Segment Key，在测试过程中写入当前时间。数据写入原理：在测试过程中，测试工具会将主键 id 从1开始逐条递增写入数据。时间列写入当前时间。针对配置的其他TEXT列，写入目标长度的字符串加主键 id。在达到目标时间或...
签名算法
事件总线EventBridge 将当前时间戳写入header:x-eventbridge-signature-timestamp。事件总线EventBridge 将待签数据加密生成的HMAC-SHA1加密值使用Base64进行编码，然后将该值写入header:x-eventbridge-signature。公式如下所示：Signature...
按时间戳冷热分离
系统会将当前时间与自定义时间戳进行比较，假设冷热分离线为3天，自定义时间戳为系统当前时间3天后的某一时间点，则写入的数据会比当前写入时间延迟3天才能进入冷存储；假设冷热分离时间点为3天，自定义时间戳为3天前的某一时间点，则新...
近实时增量导入
commit接口调用代表原子提交这段时间写入的数据。如返回成功就代表写入数据查询可见，满足读写快照隔离级别。如返回失败，可支持重试，如果不是数据损坏等不可恢复的错误，则存在重试成功的可能，不需要重新写入数据，否则需要重写数据之后...
数据版本和生命周期
有效版本偏差 为了避免写入数据时，自定义的时间戳与当前时间的偏差超过了数据表的TTL，导致写入的数据立即过期的问题，您可以设置有效版本偏差。有效版本偏差（Max Version Offset）是指定的数据版本号与系统当前时间偏差的允许最大值，...
配置Redis输出组件
写入超时时间 写入Redis的超时时间，默认300，单位秒。key前缀 可配置字符串作为Key的前缀，支持中英文、数字和下划线（_）。字段映射 输入字段 展示上游的输入字段。输出字段 为您展示输出字段。支持手动添加输出字段。单击 批量添加，...
常见问题
示例如下：/您需要设置_l_ts_min_(当前时间-冷热分界线),_l_ts_max_(当前时间),注意时间单位统一 SELECT/*+_l_hot_only_(true),_l_ts_min_(1000),_l_ts_max_(2001)*/*FROM test WHERE p1>1;Q：已设置时间范围，也使用了 HOT_ONLY，为什么...
配置Redis输出组件
写入超时时间 写入Redis的超时时间，默认300，单位秒。key前缀 可配置字符串作为Key的前缀，支持中英文、数字和下划线（_）。字段映射 输入字段 展示上游的输入字段。输出字段 为您展示输出字段。支持手动添加输出字段。单击 批量添加，...
Serverless计费
Serverless应用一天内经历了8个小时的业务高峰，写入和查询计算资源每小时均各使用了0.6 CU，其余时间写入和查询计算资源每小时均各使用了 0.1 CU，存储空间使用量始终为1 GB。费用计算 一天的费用计算如下：写入计算资源费用：0.3975 元/...
管理时间同步服务
sudo chronyc tracking 返回信息示例如下：NTP服务 执行以下命令可以获取已配置的NTP服务器以及对应的状态指标，其中偏移量 offset 可以大致表示本地时间和服务器时间的差异。sudo ntpq-p 返回信息示例如下：查看时间同步服务器地址确认...
查看监控信息
写入响应时间 毫秒（ms）监控如下信息：平均写入响应时间 最大写入响应时间 删除响应时间 毫秒（ms）监控如下信息：平均删除响应时间 最大删除响应时间 更新响应时间 毫秒（ms）监控如下信息：平均更新响应时间 最大更新响应时间 写入吞吐...
写入
Timestream提供了数据点和元数据的写入接口。数据点写入 Timestream提供了同步和异步两种数据点写入方式。其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 ...
常见疑问点
在绝大多数情况下，原始数据的写入时间点和查询时间点是没有对齐的，在“选点”时会往前回溯n分钟（SLS默认3分钟，可通过自定义参数调整，请参见 时序指标查询API），并将最近的数据点作为当前时间点的数据。下图示例中，查询的startTime为...
基本概念
类型 说明 区别 本地表（Local Table）数据只会存储在当前写入的节点上，不会被分散到多台服务器上。本地表的写入和查询，受限于单台服务器的存储、计算资源，不具备横向拓展能力。分布式表的写入和查询，可以利用多台服务器的存储、计算...
Tablestore Stream配置同步任务
说明 Tablestore Stream配置同步任务时，请注意以下问题：如果配置任务为日调度，您可以读取当前时间24小时以内的数据，但会丢失当前时间前5分钟的数据。建议您配置任务为小时调度。设置的结束时间不能超过系统显示的时间，即您设置的结束...
消费组监控与告警
消费落后时长：当前消费进度和队列中最新的数据写入时间的差值，单位为秒。消费组的消费落后时长取其包含的所有Shard的消费落后时长的最大值，当超过您预设的阈值时，则认定消费落后太多，触发报警。操作步骤 登录 日志服务控制台。在 日志...
按自定义时间列冷热分离
Lindorm宽表引擎支持按自定义时间列归档冷热数据。购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热数据查询效率，降低冷数据存储成本。本文介绍按自定义时间列...
错误排查概述
说明 通过Logstore的查询的方式可能不准确，因为：数据加工是基于日志接收时间进行加工，可能正在加工历史日志，当前查询的时间范围与日志的写入时间并不一定一致。日志服务在写入历史日志时的索引可以查询，但通常会有几分钟的延迟。数据...
日志服务SLS
timeField 指定字段名，该字段的值会覆盖_timestamp_属性字段的值，表示日志写入时间。String 否 当前时间 该参数值是表中已存在的字段之一，且字段类型必须为INT。如果未指定，则默认填充当前时间。sourceField 指定字段名，该字段的值会...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
lo-interfaces
从一个以 INV_WRITE 模式打开的描述符读取的数据所有其他已提交事务以及当前事务所作的写入。这与普通 SQL 命令 SELECT 的 REPEATABLE READ 和 READ COMMITTED 事务模式之间的区别相似。如果大对象的 SELECT 特权不可用，或者如果在指定了 ...
物联网平台数据接入
timeInUs：使用函数 timestamp()获取设备上报数据的当前时间戳（单位为毫秒）。timeInUs 的时间单位为微秒，写入时间值为 timestamp()*1000。tags：写入标签 {"region":"cn-shanghai"} 。metricName：写入时间线度量名称 property。...
冷热分离介绍
未设置自定义时间戳时，默认时间戳的值为数据写入时间。具体内容，请参见 按时间戳冷热分离。使用限制 按自定义时间列冷热分离：仅支持Lindorm SQL，不支持HBase兼容使用方式。推荐Lindorm SQL用户使用该方式。按时间戳冷热分离：支持...
数据转发到表格存储（Tablestore）时序模型
设备时序数据（例如传感器采集数据、设备监控数据和设备轨迹数据）具有极少更新、数据规模大等特点，需要使用时序模型存储，并且支持高并发写入、低成本海量数据存储以及灵活的查询分析能力。表格存储（Tablestore）的时序引擎针对时间序列...
通过控制台投递数据到OSS
按时间分区 数据投递支持提取数据写入表格存储的时间，写入时间$yyyy（年份数字）、$MM（两位月份数字）、$dd（两位日期数字）、$HH（两位小时数字）、$mm（两位分钟数字）转化后可以作为投递到OSS Bucket中的目录前缀。说明 OSS中的文件...
版本说明
修复通过写入时间戳进行检查判断会报错的问题。V1.0.2 放宽字符串校验规则。V1.0.1 增加HTTPS支持。将依赖的okhttp3库的依赖包重命名，避免依赖冲突。增加带参数的同步写入方法writeSync，提高写入方式的灵活性。增加强制flush方法，用于...
快速入门
uf-f/temp/test.csv-p test_topic-t test_topic-m","-n 1000 Web页面查看数据是否写入成功，根据最新数据写入时间和数据总量查看数据写入情况。数据抽样，检查数据质量。选择抽样shard以及抽样起始时间。点击抽样，即可查看数据。步骤四：...
通过控制台使用宽表模型
属性列的有效版本范围为[max{数据写入时间-有效版本偏差,数据写入时间-数据生命周期}，数据写入时间+有效版本偏差)。预留读吞吐量 容量型实例不支持该参数。为数据表预留读吞吐量或写吞吐量。取值范围为0~100000，且取值必须为整数。单位为...
HTTP API
在第二个数据点中，时间戳是2017-03-01T00:17:18Z，field key myfield 的值是12.4，tag key mytag1 和 mytag2 的值分别为 12 和 14。相同的查询在TSDB For InfluxDB®的命令行界面中则返回：name:mymeas time myfield mytag1 mytag2-2017-...
创建服务器迁移任务
说明 预约执行时间最早可设置为当前时间后10分钟。只创建：仅创建迁移任务，需要手动启动迁移任务。专家模式（可选）网络模式 传输迁移数据到中转实例使用的网络。中转实例会被创建在所选专有网络（VPC）、交换机（vSwitch）下，因此中转...
各源环境迁移至阿里云
如果需要保证源服务器和数据完全同步，可以先将源服务器中的数据迁移至阿里云，然后使用增量迁移，在自定义的时间段内将源服务器系统产生的增量数据同步至阿里云。具体操作，请参见 增量迁移源服务器。在迁移前，您需要在源服务器中完成...
创建投递任务
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
创建投递任务
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
使用云监控监测日志服务的使用情况
消费落后时长 当前消费进度和队列中最新数据写入时间的差值，在一个消费组中，该值为差值最大的Shard的时间差。设置云监控报警规则 日志服务支持通过云监控设置报警规则，当服务状态符合报警规则时发送报警短信或邮件。您可以通过设置云...
同步增量数据到MaxCompute
isExportSequenceInfo":false,#是否导出时序信息，时序信息包含了数据的写入时间等。默认该值为false，即不导出。single_version_and_update_only模式下只能为false。datasource":"",#Tablestore的数据源名称，如果有此项则无需配置...
使用SDK
当投递路径中引用时间变量时，可以按数据的写入时间动态生成OSS目录，实现hive partition naming style的数据时间分区，从而按照时间分区组织OSS中的文件分布。当投递路径中不引用时间变量时，所有文件会被投递到固定的OSS前缀目录中。...
同步增量数据到OSS
isExportSequenceInfo":false,/是否导出时序信息，时序信息包含了数据的写入时间等。mode":"single_version_and_update_only",/Tablestore Stream导出数据的格式，目前需要设置为single_version_and_update_only。如果配置模板中无此项，...
服务器迁移中问题
本文以 0.asia.pool.ntp.org 时间服务器为例。ntpdate 0.asia.pool.ntp.org hwclock-systohc 日志报错提示InvalidAccountStatus.NotEnoughBalance错误，怎么办？中转实例的默认计费方式为按量付费，您的支付方式余额不足时，无法顺利迁移。...
常见问题
如何处理往表里写入时间戳数据后查询出来的结果与实际数据不同？如何处理建表后查询表不存在？为什么Kafka外表建表后数据不增加？为什么客户端看到的时间结果和时区显示的不一样？为什么数据写入后不可见？为什么optimize任务很慢？为什么...
- 产品推荐
- 这些文档可能帮助您