Kafka单表实时入湖OSS（HUDI）
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON解析）生成动态列的处理方式。如果在 JSON解析 节点配置了 动态输出字段，则在OSS节点中会出现 上游流入动态字段处理策略 表单。动态列指在...
Kafka实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON解析）生成动态列的处理方式。如果在 JSON解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。动态列...
LogHub（SLS）实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON 解析）生成动态列的处理方式，如果在 JSON 解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。动态...
PolarDB HTAP实时数据分析技术解密
用户可以使用PolarDB集群中的一个RO节点作为分析型节点，在该RO节点上配置生成列存索引。复杂查询运行在列存索引上并使用所有可用的CPU的计算能力，在获得最大执行性能的同时，不影响该集群上TP型负载的可用内存和CPU资源。关键技术的结合...
生成列
本文介绍了生成列的相关内容。简介 生成的列是一个特殊的列，它总是从其他列计算而来。因此说，它对于列就像视图对于表一样。生成列有两种：存储列和虚拟列。存储生成列在写入（插入或更新）时计算，并且像普通列一样占用存储空间。虚拟...
生成列
您可以根据其他列的值定义一个生成列，生成列不支持通过 INSERT 和 UPDATE 直接写入数据，当写入数据到原始列时，会自动计算表达式并将结果写入生成列。语法 GENERATED ALWAYS AS(generation_expr)STORED 参数介绍 参数 说明 generation_...
创建表 CREATE TABLE 的不兼容点
在生成列的基础上再定义生成列 通过 CREATE TABLE DDL 定义生成列时，表达式中使用了其它生成列。MySQL 数据库：支持。OceanBase 数据库 MySQL 租户：不支持。示例如下：CREATE TABLE group_by_t1(a INT GENERATED ALWAYS AS(1)VIRTUAL,b ...
生成列
创建生成列 语法 col_name data_type[GENERATED ALWAYS]AS(expr)[VIRTUAL|STORED|LOGICAL][NOT NULL|NULL][UNIQUE[KEY]][[PRIMARY]KEY][COMMENT 'string']生成列有以下三种类型：VITRUAL：生成列的值不存储，每次读取该列时由存储节点DN...
创建列
支持指定生成列，支持生成列指定 VIRTUAL|STORED 属性。支持指定 UNIQUE KEY/PRIMARY KEY/KEY，详情请参见 创建索引或约束。支持指定 CHECK 约束，详情请参见 创建索引或约束。重要 仅 OCeanBase 数据库 MySQL 租户 3.2.3 及以上版本支持。...
动态列
云原生多模数据库 Lindorm 宽表引擎支持动态列功能，即创建表时未显式指定的列，在实际业务中动态写入数据并执行查询。本文介绍如何通过Lindorm SQL实现动态列能力的开启、写入以及查询。背景信息 传统关系型数据库表的Schema必须预先定义...
在线修改列类型
不支持修改生成列以及生成列表达式中包含的列。语法 目前在线修改列类型的具体语法如下，使用在线修改列类型时，支持同时修改多个列的列类型，并且支持在修改列的同时进行加列和减列操作。ALTER TABLE tbl_name alter_option[,alter_option...
量产生成设备证书（云端自动生成设备名称）
云端开放的产品量产接口（动态生成设备名称）调用该接口可自动生成设备证书，设备名称由系统分配。生成设备证书后，可以直接调用/living/device/apply/query接口下载设备证书。路径/cloud/amount/device/generate 版本号 1.1.2 协议 HTTPS ...
CREATE FOREIGN TABLE
GENERATED ALWAYS AS(generation_expr)STORED 该子句创建一个生成列。此列不能写入，只能在读取时返回所指定的表达式的值。关键字STORED是必须的，用来表明该列将在写入时计算（计算出的值将会传递给外部数据封装器负责保存，并在读取时...
CREATE FOREIGN TABLE
GENERATED ALWAYS AS(generation_expr)STORED 该子句创建一个生成列。此列不能写入，只能在读取时返回所指定的表达式的值。关键字STORED是必须的，用来表明该列将在写入时计算（计算出的值将会传递给外部数据封装器负责保存，并在读取时...
使用系统函数
您可以使用系统函数动态生成API请求体的内容。此外，对于有缓存机制的API，使用系统函数生成不同的请求体，可以避免缓存影响测试结果。您可以在PTS控制台使用函数生成器生成函数，再按需组合、替换、嵌套或者追加需要的字符串。本文以对...
ODPS-0123031
动态生成的分区值不允许为NULL。如果目标表有多级分区，在执行INSERT操作时，允许指定部分分区为静态，但是静态分区必须是高级分区。错误4：java.lang.ClassNotFoundException：com.aliyun.odps.hive.wrapper.HiveInputFormatWrapper 错误...
6.0版本与7.0版本兼容性注意事项
取值说明：'s'：该列是生成列，其值为stored。''（零字节）：该列不是生成列。pg_class 删除relstorage列，用于指示relkind的物理存储方式。AnalyticDB PostgreSQL 7.0版 中external表的relkind由 'r' 更改为 'f'。删除relhasoids列，用于...
通配符列
通配符列是指列名由通配符组成的列，多用于模糊匹配、动态列写入等场景，可以更灵活地匹配和查找目标列。在Lindorm宽表引擎中使用通配符列，可以满足多数据类型动态写入的需求。本文介绍通配符列的使用限制及使用方法。背景信息 在大数据量...
SELECT
关于动态列的详情，请参见 动态列。GROUP BY 子句 宽表引擎与时序引擎均支持GROUP BY子句，用于分组聚合计算。ORDER BY子句 指定一个列或多个列，对查询结果集进行排序。LIMIT子句 LIMIT 子句用于分页查询。LIMIT后只跟一个数字，表示返回...
怎么配置业务监控
选取规则：在示例日志数据中手动划选某个字段的value值或字符，系统自动定位关键字的位置，并生成列值选取规则，如：左起第 1 个：至，。按选取规则解析示例日志，并在侧边栏展示此位置出现的字段列值和出现次数。选取规则支持手动输入，...
脚本模式：高级SQL（Mybatis语法）示例
参数类型 参数位置 是否必填 示例值 默认值 var INT QUERY 是 1 1 返回参数：参数名称 参数类型 示例值 col01 STRING 123 示例3：通过判断字段值是否为空来控制where查询条件是否保留 示例根据 list 集合中的 area 值，动态生成查询条件，...
ALTER TABLE
说明 关于动态列的介绍，请参见 动态列。设置数据有效期 为dt表设置数据有效期，时间单位为秒（s）。ALTER TABLE sensor SET 'TTL'='2592000';为dt表取消数据有效期。ALTER TABLE sensor SET 'TTL'='';结果验证 在集群管理系统的 概览 页面...
IoT数据自动化同步至云端解决方案
DataWorks通过参数变量来动态生成文件名称，以确保和OSS上的文件名称保持一致。说明 推荐您使用 yyyymmddhhmm 等时间戳作为文件名的一部分，例如 iot_log_201911062315.csv。登录 DataWorks控制台，单击左侧导航栏的 数据集成，在下拉框中...
参数说明
运行时，平台会将标识符及其中间所有的字符串，替换成动态生成的字符串。其余字符串保持不变。生成随机数 用户填写示例 转换结果 说明${_Random(1,1000)} 第一次：3454 第二次：67 第三次：53 随机1~1000中的一个数字。["Tom",463${_Random...
参数说明
运行时，平台会将标识符及其中间所有的字符串，替换成动态生成的字符串。其余字符串保持不变。生成随机数 用户填写示例 转换结果 说明${_Random(1,1000)} 第一次：3454 第二次：67 第三次：53 随机1~1000中的一个数字。["Tom",463${_Random...
收集WASM合约代码覆盖率
运行合约 合约在链上执行时，会把动态生成的覆盖率信息保存到 log 中，topic 为 coverage，因此您需要在SDK侧获取 topic 为 coverage 的 log 信息，每条 log 的内容通过LEB128解码可以得到两个字段：覆盖率文件路径和覆盖率信息，请根据...
收集WASM合约代码覆盖率
运行合约 合约在链上执行时，会把动态生成的覆盖率信息保存到 log 中，topic 为 coverage，因此您需要在SDK侧获取 topic 为 coverage 的 log 信息，每条 log 的内容通过LEB128解码可以得到两个字段：覆盖率文件路径和覆盖率信息，请根据...
名词解释
DYNAMIC COLUMN 〇 ✖️ Dynamic Column（动态列）是指在宽表引擎中创建宽表时，未显式指定但在实际业务中动态写入数据的列。在宽表引擎中，建表可以通过设置表属性来指定表是否允许写入动态列。MUTABILITY 〇 ✖️ Mutability（易变性）是...
常见问题
原因：开启动态列的表可能包含大量的动态列，且表的Schema定义不固定。如果对这类表进行全表扫描，将会导致IO消耗严重，加重实例负载。为避免高负载情况的产生，Lindorm宽表引擎对动态列表的查询语句进行了限制。解决方案：在SELECT语句中...
元数据库和数据字典
列character set名 COLLATION_NAME：列collation名 COLUMN_TYPE：列类型（包含精度）COLUMN_KEY：列索引信息 EXTRA：列额外信息 PRIVILEGES：列权限信息 COLUMN_COMMENT：列注释 GENERATION_EXPRESSION：生成列 STATISTICS STATISTICS表...
二级索引
支持动态列：支持写入动态列和冗余动态列。支持自定义数据版本：自定义时间戳后自动写入数据。使用要求 服务器：使用Lindorm实例。客户端：更多信息，请参见 通过Lindorm宽表SQL使用宽表引擎。Lindorm-Cli客户端：更多信息，请参见 通过...
CREATE INDEX
说明 冗余动态列前必须保证已开启动态列功能，详细介绍，请参见 动态列。您也可以通过 INCLUDE 关键字冗余指定的列。STARTKEY STRING 索引表的起始Key。重要 不支持为 时间戳列 或类型为 空间数据类型的列 设置起始Key。ENDKEY STRING 索引...
CREATE TABLE
开启动态列功能 创建宽表时将 DYNAMIC_COLUMNS 参数的值设置为 TRUE 后，支持在表中写入动态列数据。CREATE TABLE sensor(device_id VARCHAR NOT NULL,region VARCHAR NOT NULL,time TIMESTAMP NOT NULL,temperature DOUBLE,humidity ...
管理HBase全文索引
fields 每一个field映射都由以下三个参数组成：参数名 含义 source HBase表中需要映射的列名，其中family和qualifier的名字用冒号隔开，如 f:name targetField 索引表中的列名，上述示例中给出的列名都是 动态列，如 name_s、age_i，这样的...
同步 OceanBase 数据库的数据至 DataHub
当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，Tuple 类型的 Topic 写入到目标端为 NULL，而 BLOB 类型的 Topic 目标端不会写入该列。当更新的行包括 LOB 列时：如果 LOB 列为更新列，请勿依赖 LOB 列在 ...
导出至HDFS
半静态半动态分区 说明 静态列必须位于动态列的前面，不允许穿插使用。语法如下。INSERT INTO<target_table>PARTITION(par1=val1,par2,.)SELECT<col_name>FROM;示例如下。INSERT INTO hdfs_import_external_par PARTITION(p1='2021-05-27',...
配置URL鉴权
在视频点播分发的内容默认为公开资源，用户拿到URL后均可访问，为...资源不在视频点播控制台中：开启URL鉴权后，您可以基于各鉴权方式进行鉴权URL的拼接，生成动态的鉴权URL。更多信息，请参见 鉴权方式A说明、鉴权方式B说明、鉴权方式C说明。
创建表
AUTO_INCREMENT自增字段指明该列为唯一值，该列必须为BIGINT类型，分布式数据库会自动为该列生成一个64位的唯一值，且该字段将自动成为主键，对于表的字段，若用户插入该字段，那么数据库将存储用户提供的值，用户需要自行保证该值的唯一性...
云原生多模数据库Lindorm
例如统计每天每小时的交易量，以天作为主键，小时作为列，每个小时的数据都是动态生成的，示例如下。主键 列名：0点 列名：1点 2025-06-01 45 32 2025-06-02 76 34 动态表需要遵循特殊的DDL定义。其主键需要定义为前若干列，最后两列中前一...
缺失值填充批预测
预测输入模型 无 缺失值填充训练 是 预测输入数据 数值类型 读数据表 读CSV文件 是【右侧参数表单】页签 参数 描述 参数设置 输出结果列列名数组 新生成的列名，设置的列名个数需要与缺失值训练时选择的列数相同，不设置时新生成列默认替换...
- 产品推荐
- 这些文档可能帮助您