查看并编辑表规范及管控研发流程
修改时间分区参数时，需要配置以下参数：中文名：默认为 时间分区-天，支持修改。包含汉字、字母、数字、下划线（_）或短划线（-），且不能超过64个字符。英文名：默认为 ds，当前板块中没有任何业务实体时，支持修改。包含字母、数字或...
查看并编辑表规范及管控研发流程
修改时间分区参数时，需要配置以下参数：中文名：默认为 时间分区-天，支持修改。包含汉字、字母、数字、下划线（_）或短划线（-），且不能超过64个字符。英文名：默认为 ds，当前板块中没有任何业务实体时，支持修改。包含字母、数字或...
通过整库迁移配置集成任务
单次同步：选择分区表，目标表将创建为分区表，需要配置 单次同步写入分区 参数，支持常量或分区参数。例如，常量 20230330、分区参数 ds=${bizdate}；选择非分区表，目标表将创建为非分区表。每日同步+单次同步：默认为分区表，不支持选择...
分区索引
数据分区策略 HASH分区 时间范围分区 多级HASH分区（高级用法）准备工作 使用分区索引前需要创建测试表，语句如下：CREATE TABLE IF NOT EXISTS search_table(user_id bigint,storeId varchar,goodsId varchar,goodsPrice smallint,...
参数说明
EMR Workflow支持配置内置时间参数、任务级别参数（本地参数）、工作流级别参数（全局参数）和项目级别参数，同时还支持参数传递功能。参数配置 内置时间参数 参数定义 内置时间参数无需定义，可以直接在任务中使用。参数使用 EMR Workflow...
读数据表
参数 分区参数，通过该参数来过滤分区表数据。同时筛选多个分区使用半角逗号（,）分隔。如果未配置该参数，则表示输入全表。例如：动态分区表，输入格式为 dt=${yyyyMMdd}，其中${yyyyMMdd} 是系统参数，表示当前日期，${yyyyMMdd-1d} 表示...
查看数据监控
滑动验证 24h验证数据：展示该配置连续24小时内（自当前时间分区向前的95时间分区，每个分区的时间间隔为15分钟）的滑动验证通过和滑动验证拦截数量的波动情况。24h验签数据：展示该配置连续24小时内（自当前时间分区向前的95时间分区，每...
交互分析管理
起始时间参数名 设置时间选择器的起始时间参数名称。说明 以SQL名称的方式将参数添加到查询中，参数的值可以通过调整时间选择器的值来实时更改。结束时间参数名 设置时间选择器的结束时间参数名称。说明 以SQL名称的方式将参数添加到查询中...
AddPartitions
Parameters Map 否 分区参数。String 否 key001=value002 分区参数。StorageDescriptor Object 是 分区的SD信息。Col Array 是 表的列信息。Comment String 否 this is comment 列注释。Name String 否 col1 列名。Type String 否 string ...
分区管理
分区间隔：支持根据所设置的分区时间间隔创建分区，单位：日/月/年。保留时长：超过保留时长后，创建的分区将被自动清理，单位：日/月/年。示例：预创建分区数量 1，分区间隔 1 月，保留时长 1 月，表示对当前表预创建 1 个分区，每隔 1 个...
修改分区
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，ALTER TABLE DDL 修改分区的支持转换范围。总览 modify_table_partition:{ modify_range_partition|...不支持 partition_attributes 子句修改分区参数，会忽略。
PyODPS参数传递
t=o.get_table('user_detail')#接受传入的分区参数。with t.open_reader(partition='dt='+args['dt']+',region=beijing')as reader1:count=reader1.count print("查询分区表数据：")for record in reader1:print record[0],record[1],...
统计表
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据。全量更新：每次更新前...
用户标签
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。若表不包含时间分区，则无需选择。若您选择的是视图，则需要您手动选择是否包含时间分区。若视图包含时间分区，请选择时间分区字段，并输入分区值的格式...
变更TTL表
func:NOW()|DATE_ADD(.)|DATE_SUB(.)创建新的物理时间分区 此命令多次调用不会无限制创建新分区，只会创建预定时间内的新分区。ALTER TABLE t_order ALLOCATE LOCAL PARTITION;删除过期的物理时间分区 此命令多次调用不会无限制删除已有...
订单明细
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据，并设置数据回刷天数，...
用户行为
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据。全量更新：每次更新前...
新建并启用物理表质量检查计划
持续检测分区产出时间 当选中 分区产出检测 参数时，才出现该选项。用来设置，包含分区字段的待检查物理表分区数据产出的检测时间，保证分区的数据无遗漏。检查周期 当选中 分区产出检测 参数时，才出现该选项。用来设置待检查的物理表中...
新建并启用物理表质量检查计划
持续检测分区产出时间 当选中 分区产出检测 参数时，才出现该选项。用来设置，包含分区字段的待检查物理表分区数据产出的检测时间，保证分区的数据无遗漏。检查周期 当选中 分区产出检测 参数时，才出现该选项。用来设置待检查的物理表中...
谷歌BigQuery数据迁移至AnalyticDB PostgreSQL版
时间单位列分区 对应 AnalyticDB PostgreSQL版 的日期范围表分区，可以使用单个DATE或TIMESTAMP作为分区键列。谷歌BigQuery中是通过 DAY、MONTH 和 YEAR 来指定分区粒度，在 AnalyticDB PostgreSQL版 中，您可以通过 EVERY(INTERVAL)来指定...
分布表
分布表使用 AnalyticDB PostgreSQL支持的分区表类型包括范围（Range）分区、值（List）分区和多级分区表，下图为一个多级分区表设计实例，一级分区采用按月的区间（Range）分区，二级分区采用按地区的值（List）分区设计。使用场景 是否...
蓝牙设备端SDK OTA接口
Bootloader对接数据结构 升级完成后，系统会将固件信息等保存flash参数区，AliOS Things 保存在参数分区1；Bootloader 需要读取保存的参数，完成固件的copy和替代，实现升级。typedef struct { unsigned int settings_crc32;settings crc32...
表分区定义
分区定义的粒度 在您使用分区表的过程中，可能会遇到分区表粒度的问题，例如按时间分区的情况下，选择按天、按周还是按月进行分区。分区表的粒度越细，每张分区表的数据就越少，分区表的数量就越多。关于分区表的数量，并没有绝对的标准，...
AUTO模式核心特性及典型场景
如下所示，将t_order表按照gmt_modified列进行时间分区，每个分区间隔一个月，每个分区12个月后过期，提前创建3个分区：CREATE TABLE t_order(id bigint NOT NULL AUTO_INCREMENT,gmt_modified DATETIME NOT NULL,PRIMARY KEY(id,gmt_...
自定义参数取值差异对比
时间取值${…}参数$[…]参数 取年份：2021 调度参数赋值：datetime=${yyyy} 代码引用：pt=${datetime} 参数替换结果：pt=${yyyy}=2021 调度参数赋值：datetime=$[yyyy]代码引用：pt=${datetime} 参数替换结果：pt=$[yyyy]=2021 取年份：21 ...
数据引入层（ODS）
拉链存储 拉链存储通过新增两个时间戳字段（start_dt和end_dt），将所有以天为粒度的变更数据都记录下来，通常分区字段也是这两个时间戳字段。拉链存储举例如下。商品 start_dt end_dt 卖家 状态 B 20160101 20160102 A 上架 C 20160101 ...
数据引入层（ODS）
拉链存储 拉链存储通过新增两个时间戳字段（start_dt和end_dt），将所有以天为粒度的变更数据都记录下来，通常分区字段也是这两个时间戳字段。拉链存储举例如下。商品 start_dt end_dt 卖家 状态 B 20160101 20160102 A 上架 C 20160101 ...
Dataphin集成任务如何实现范围分区同步
概述 Dataphin集成任务如何实现范围分区同步。详细信息 通过时间参数和过滤配置实现近10天的范围数据同步。适用于 Dataphin
QueryMessage-查询 Topic 消息
选择位点查询则需要填入分区 ID 和分区位点参数。byTimestamp：通过时间来进行查询。选择时间查询则需要填入 BeginTime 参数。byTimestamp Partition string 否 分区 ID。0 Offset string 否 分区位点。100 BeginTime long 否 查询范围的...
常见问题
分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有明显的时间属性，例如查询语句携带一个时间字段作为过滤字段，建议设置时间分区属性。在业务查询场景中，多数情况...
创建MaxCompute投递任务（新版）
分区时间格式_partition_time_%Y_%m_%d_%H_%M_00 2022_01_27_20_30_00%Y_%m_%d_%H_%M 2022_01_27_20_30%Y%m%d 20220127 使用方法 使用_partition_time_筛选数据，可以避免全表扫描。例如查询2022年1月26日一天内日志数据，查询语句如下所示...
投递日志到MaxCompute（旧版）
导入MaxCompute间隔 分区时间格式_partition_time_1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 使用...
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
DROP PARTITION
参数 参数 参数说明 table_name 分区表的名称（可以采用模式限定的方式引用）。partition_names 要删除的分区名称。示例 删除表 sales_range_range 的分区 p_2014：ALTER TABLE sales_range_range DROP PARTITION p_2014;
上下游存储
在读取或写入分区时，如何填写Partition参数？为什么含有MaxCompute源表的作业一直在启动中，或作业启动成功后过了很久才产生数据？RDS MySQL结果表 为什么主键为bigint unsigned的MySQL表注册Flink Cataolg，主键会变为decimal？但是使用...
创建投递任务
如果不设置此参数，则按数据写入表格存储的时间进行分区。parquetSchema：指定需要投递的数据列，必须手动配置投递字段的源表字段、目标字段和目标字段类型。您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组...
创建投递任务
如果不设置此参数，则按数据写入表格存储的时间进行分区。Schema：指定需要投递的数据列，必须手动配置投递字段的源表字段、目标字段和目标字段类型。您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组中的...
使用SDK
如果不设置此参数，则按数据写入表格存储的时间进行分区。parquetSchema：指定需要投递的数据列，必须手动配置投递字段的源表字段、目标字段和目标字段类型。您可以选择任意字段以任意顺序、名称写入列存文件，OSS的列存数据会按Schema数组...
标签平台设置
Dataphin标签平台设置为使用标签模块功能的前提条件，包含时间字段设置及提供标签在线服务的服务数据源设置，其中时间字段设置包含标签表时间分区字段设置以及实时事件时间戳字段设置。标签表时间分区字段设置包含一、二、三级分区字段设置...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
- 产品推荐
- 这些文档可能帮助您