创建表
类型 说明 表的列数 从示例数据中识别表列数信息如下：创建非分区表的示例数据包含21列，新创建表的列数可设定为21列。说明 如果表的列数超过示例数据的列数，不足的列将填充NULL。如果表的列数少于示例数据的列数，多余的数据将被丢弃。...
迭代器功能说明
在区块编辑器面板中可先添加一个或多个组件组成的单元模板（即成组），再通过迭代器的数据驱动，生成一个列表，列表项的数量与迭代器数据中数组的长度一致。本文介绍迭代器的功能及操作说明。迭代器即列表生成器，列表中每一项称为一个迭代...
迭代器功能说明
在区块编辑器面板中可先添加一个或多个组件组成的单元模板（即成组），再通过迭代器的数据驱动，生成一个列表，列表项的数量与迭代器数据中数组的长度一致。本文介绍迭代器的功能及操作说明。迭代器即列表生成器，列表中每一项称为一个迭代...
BLOB数据类型（邀测中）
} 数据读取 Lindorm支持以下两种方式读取BLOB列的数据：方式一：一次性读取一行数据中整个BLOB列的全部内容，并保存至一个字节数组中。直接读取整个BLOB列的完整内容 ResultSet resultSet=stmt.executeQuery("select*from"+tableName+...
多元索引数组类型
要使用数组类型，在数据表中的列数据类型必须为字符串。创建多元索引时，该列的数据类型需要设置为数组元素的实际类型并且开启该列的数组属性。数据类型映射 数据表中数据类型 多元索引中数据类型 SQL数据类型 字符串 数组元素的实际类型，...
创建同步ElasticSearch
例如：DataHub Schema:f1 string,f2 string,f3 string,f4 string 数据:["test1","test2","test3",null]ID属性列 数据id ES自动生成唯一ID f1 test1 f1,f3 test1|test3 ff 创建失败 f4 创建成功，但是同步失败，脏数据 6.Router属性列 用户...
通过数据同步功能同步SLS至湖仓版（推荐）
Schema字段映射 默认会从日志服务的投递任务配置中获取字段，如LogStore没有配置投递任务，会默认根据最近的日志数据获取字段。支持的数据类型：BOOLEAN、INT、BIGINT、FLOAT、DOUBLE、STRING。支持同步SLS保留字段，详情请参见 保留字段。...
函数列表
keySet()获取Map数据中键的集合，返回类型为Array。remove(Object)移除Map数据中指定键对应的键值对。put(Object,Object)在Map数据中添加键值对。putAll(map)在Map数据中批量添加一组Map数据。Array类型。函数 说明[int]获取指定索引位置的...
列式JSONB
但如果JSONB数据中的字段比较稀疏，列数膨胀比较厉害，那么列式化后的每一列都会带来额外的存储开销（列的统计信息、索引等），且如果列式化后每一列的类型都是TEXT类型，压缩效果就不会很好。所以实际的存储压缩效率与实际业务的数据有关...
JSON数据类型
resultC2k1等于JSON数组上index为2的JSON对象以k2为键的值，结果为3 当 json_extract 函数在WHERE子句中使用时，表示获取JSON列上具体的值并进行条件过滤。如果 json_extract 函数在WHERE子句中涉及数据比较和筛选时，不同数据类型之间比较...
MongoDB数据源
目前不支持读取指定列数据。常用 query 示例如下：查询状态为normal的数据"query":"{ status:"normal"}"status:"normal""query":"{ status:{$in:["normal","forbidden"]}}"AND语法，状态为正常，且年龄小于30"query":"{ status:"normal",...
内建函数概述
之后对于每一行数据（当前行），会按照窗口定义中的 frame_clause 从数据流中截取一段数据，构成当前行的窗口。窗口函数会根据窗口中包含的数据，计算得到窗口函数针对当前行对应的输出结果。partition by[,.]：可选。指定分区。分区列的值...
通过控制台使用二级索引
本地二级索引：以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后即可从索引表中查询到数据。索引表的第一列主键必须和数据表的第一列主键相同。存量数据 是否包含数据表中的存量数据。取值范围如下：...
二级索引
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。k，-pk 是 uid,pid 索引表的索引列，索引列为数据表主键和预定义列的组合。使用本地二级...
时空引擎版本发布记录
修复 ST_AsEWKB 函数无法转换从数据表中构建出的轨迹问题。修复 ST_BuildPyramid 函数，解决超大数据构建矢量金字塔时的内存占用问题。4.8 新特性 增强 ST_Union 函数，支持按内存使用量分批次执行，避免大数据量造成OOM。新增 ST_SetValue...
OSS-HDFS数据源
{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取LONG字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部生成alibaba的字符串字段作为当前字段，value表示常量列。}...
黑名单监控告警
调用用户自定义函数 FACE_FEATURE_EXTRACT_V1()从图片中抽取人脸特征向量，然后将结果写入分析型数据库MySQL版。INSERT INTO black_list(id,name,image_url,gender,feature)VALUES(10,'Zhang San','https://xxx/img.jpg' ,'male',FACE_...
FineReport
添加表 连接AnalyticDB新建数据集：数据集通过SQL查询语句从已经建立连接的数据库中取数，将数据以二维表的形式保存并显示在数据集管理面板处。数据集管理面板选择 模板数据集，单击上方的+。在弹出的下拉列表中，选择 数据库查询。在弹出...
DLA Lakehouse实时入湖
您可以到RDS数据源实例的 数据安全性 页面中获取安全组ID，如未设置安全组请进行添加，具体操作请参见 设置安全组。Spark运行所需CU数 指定执行DLA Spark作业所使用的CU数，建议多保留一些CU数，让入湖性能更好、作业任务更稳定。增量同步...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
通过数据同步功能同步Kafka至湖仓版（推荐）
样例数据 自动从Kafka Topic中获取的最新数据作为样例数据。说明 Kafka Topic中的数据需为JSON格式，若存在其他格式的数据，数据同步时会报错。JSON解析层级 设置JSON的嵌套解析层数，取值说明：0：不做解析。1（默认值）：解析一层。2：...
2023年
2023-08-18 全部地域 成本分析 租户级别Information Schema 租户级别Information Schema从租户角度提供项目及使用历史等元数信息，方便一次性获取租户下某类对象的所有元数据。2023-08-08 全部地域 租户级别Information Schema 按量付费闲...
Salesforce数据源
false column 是 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。支持列裁剪，可以挑选部分列进行导出。支持列换序，可以不按照表schema信息顺序进行导出。支持常量配置，如下：[{"name":"Id","type":"STRING"},{"name":...
Lindorm实时入湖建仓分析
当前取值固定为earliest，表示自动从最开始的时间点获取数据。每批次消费记录条数：每次通过Lindorm拉取的数据量。生成目标数据规则配置 的参数说明如下：参数名称 参数说明 库名 目标DLA库的名称，库名以字符开头，可包含字符、数字、...
Elasticsearch数据源
Relational DB（实例）->Databases（数据库）->Tables（表）->Rows（一行数据）->Columns（一行数据的一列）Elasticsearch->Index->Types->Documents->Fields Elasticsearch中可以有多个索引或数据库，每个索引可以包括多个类型或表，每个...
2022年
ZomboDB 2022年11月 缺陷修复 修复对分区表部分列具有 UPDATE 但没有 SELECT 权限的用户可能会从错误消息中获取被拒绝列值的问题。缺陷详情请参见 CVE-2021-3393。2022年11月 V1.1.27 内核小版本 类别 名称 描述 相关文档 发布时间 新增 ...
SELECT
PREWHERE不适合用于已经存在于索引中的列，因为当列已经存在于索引中的情况下，只有满足索引的数据块才会被读取。如果将'optimize_move_to_prewhere'设置为1，并且在查询中不包含PREWHERE，则系统将自动的把适合PREWHERE表达式的部分从...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
分析外部OSS上的数据
第一种方式：从OSS数据文件中获取列类型（推荐），如下所示：CREATE FOREIGN TABLE `test` FROM CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/test.orc' COMMENT='columnar=1';您可以使用 SHOW create table ...
深度解析Lindorm搜索索引（SearchIndex）特性
全量构建快 对于已有的历史数据，可以借助LTS的全量任务运行机制，高效的从宽表中获取原始数据生成索引，TB级别的数据量分钟内即可完成索引构建。数据快速校验 支持对已有数据的比对校验，可以快速筛选出不一致的索引数据，帮助业务及时...
通过控制台使用宽表模型
当属性列数据的版本个数超过设置的最大版本数时，系统会自动删除较早版本的数据。取值必须为非0整数。数据有效版本偏差 指定的数据版本号与系统当前时间偏差的允许最大值，单位为秒。有效版本偏差为正整数，可以大于1970-01-01 00:00:00 ...
规划器使用的统计信息
而且，pg_stats 是所有人都可以读取的，而 pg_statistic 只能由超级用户读取（这样可以避免非授权用户从统计信息中获取一些其他人的表的内容的信息。pg_stats 视图被限制为只显示当前用户可读的表）。例如，我们可以：SELECT attname,...
PolarDB数据源
否 false column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。默认使用所有列配置，例如[*]。支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表Schema信息顺序进行导出。支持常量配置，您需要按照...
DataFrame概述
SequenceExpr只可以从一个Collection中获取，不支持手动创建SequenceExpr。Collection：为您介绍Collection。CollectionExpr中包含针对二维数据集的列操作、筛选、变换等大量操作。执行：为您介绍DataFrame操作支持的执行方法。MapReduce ...
HDFS数据源
{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部生成alibaba的字符串字段作为当前字段，value表示常量列。} ...
OpenAPI列表
该API内部实现为异步调用发布，只有返回数据中的校验状态为通过的数据（即 SubmitPublishResult.status=true），才会进入异步发布流程，每次发布结束之后会生成发布记录，发布的结果需要从ListPublishingHistory（发布记录列表）中获取。...
Sensors Data（神策）数据源
目标表的字段列名为course_id"index":0/取来源表的第1列数据写入目标表的course_id列 },{"name":"course_name",/目标表的字段列名为course_name"index":1/取来源表的第2列数据写入目标表的course_name列 },{"name":"course_schedule",/...
- 产品推荐
- 这些文档可能帮助您