配置字符串替换
您可以通过字符串替换节点替换字符串类型的字段。前提条件 配置字符串替换节点前，您需要先配置好相应的输入节点，详情请参见 实时同步支持...添加条件 您可以添加多个字符串替换规则。输出字段 替换后的最终输出字段。单击工具栏中的 图标。
产品简介
支持定制）累计50万次 20 是 中文：1024个字符 多语言：500个字符 东南亚语种电商 命名实体识别高级版（东南亚语种电商）累计50万次 20 是 中文：1024个字符 多语言：500个字符 词性标注 电商 词性标注高级版（电商）累计50万次 20 否 1024...
查询字符串语法
语法格式 e_search('子串')示例 e_search('active*test')：匹配零到多个字符，因为字符串中有星号（*），所以该字符串不需要使用半角双引号（""）包裹。e_search('发生*错误')：匹配零到多个字符，可以匹配 发生错误，发生严重错误 等。e_...
正则表达式入门教程
日志样例：Info 05/Jan/2023 Warning、Info 06/Jan/2023 Error 正则表达式：.*05\/Jan\/2023.*.*表示匹配任意零个或多个字符，即 05/Jan/2023 前后可以有任意字符。05\/Jan\/2023 表示匹配关键词 05/Jan/2023。因为Logtail所支持的正则表达...
实时同步能力说明
支持一次性配置一个实例下多个库的多个表，一个任务中最多支持3000个目标表。说明 实时同步模块仅进行增量数据实时同步，若您希望全增量数据实时同步，即一次性将全量数据至目标端，然后增量数据进行实时同步，您可选择 同步解决方案 模块...
创建数据脱敏规则
替换字符集：遇到字符集中的字符，即会被替换为其他相同类型的字符，不支持中文，若需要脱敏的数据不符合字符集范围则不脱敏（可输入大写字母、小写字母、和数字，多个字符请用英文逗号隔开），例如，敏感数据脱敏前是0~3的数字和a~d的字母...
字符串函数和操作符
'Post'|'greSQL'→PostgreSQL text|anynonarray→text anynonarray|text→text 将非字符串输入转换为文本，然后将两个字符串串联在一起。（非字符串输入不能为数组类型，因为这将在|操作符的数组中造成歧义。如果你想连接一个数组的文本...
模式匹配
而一个百分号（%）匹配任何零或更多个字符的序列。一些例子：'abc' LIKE 'abc' true 'abc' LIKE 'a%' true 'abc' LIKE '_b_' true 'abc' LIKE 'c' false LIKE 模式匹配总是覆盖整个串。因此，要匹配在串内任何位置的序列，该模式必须以百分...
Oracle数据源
支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle Writer）Oracle 11.2 or 11gR2 支持 支持 Oracle 12.1 or 12cR1 支持 支持 Oracle 12.2 or 12cR2 支持（新版本特性不支持）支持（新版本特性不支持）Oracle 18.3 支持（新...
内建函数概述
字符串函数 支持处理STRING类型字符串，实现截取字符串、替换字符串、查找字符串、转换大小写、转换字符串格式等业务处理能力。复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务...
创建文件数据源
其他空间占用内存：比如当个人版用户试用高级版或专业版结束后，多个工作空间都上传了数据，最终购买了个人版时，只存在一个空间，但原先已经上传过的数据仍保留着，可能会出现 空间不足 的情况，此时，您可以根据提示 确认清理其他探索...
数据类型格式化函数
to_timestamp 和 to_date 跳过了输入字符串开头和日期和时间值周围的多个空格，除非使用了 FX 选项。例如，to_to_timestamp(' 2000 JUN','YYY-MON')和 to_timestamp('2000-JUN','YYY-MON')都能工作，但 to_timestamp('2000 JUN','FXYYYY-...
Oracle应用迁移至云原生数据仓库 AnalyticDB ...
返回信息如下：reverse-gp4bda(1 row)concat(text,text)将两个字符串拼接在一起。SELECT concat('adb','4pg');返回信息如下：concat-adb4pg(1 row)concat(text,anyarray)/concat(anyarray,text)/concat(anyarray,anyarray)用于拼接任意类型...
2021年
无 copy支持多个字符的分隔 Copy功能新增支持多个字符的分隔。无 优化 修复PX对polar_row_id的支持 跨机并行查询支持polar_row_id。无 standby并行回放 Standby节点通过多进程来加速回放，减少standby节点与master节点之间的延迟。无 时空...
在DTS迁移或同步任务中配置ETL
DSL脚本不支持多行表达式，您可以使用 e_compose 函数将多个表达式组合成一个表达式。操作步骤 登录 新版DTS同步任务的列表页面。在目标同步任务中单击，选择 修改ETL配置。在 配置任务对象及高级配置 步骤的 高级配置 中，配置ETL功能 ...
内建函数概述
字符串函数 支持处理STRING类型字符串，实现截取字符串、替换字符串、查找字符串、转换大小写、转换字符串格式等业务处理能力。复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务...
基本语句
执行一个有单一行结果的查询 一个产生单一行（可能有多个列）的 SQL 命令的结果可以被赋值给一个记录变量、行类型变量或标量变量列表。这通过书写基础 SQL 命令并增加一个 INTO 子句来达成。例如：SELECT select_expressions INTO[STRICT]...
文本搜索函数和操作符
（注意，当输入为 jsonb 时，JSON对象字段的“document order”取决于实现）filter 必须是一个 jsonb 数组，其中包含0个或多个关键字："string"（包括所有字符串值），"numeric"（包括所有数值），"boolean"（包括所有布尔值），"key"...
同步更新Oracle数据库（oracle_fdw）
RDS PostgreSQL提供oracle_fdw插件，可以连接到Oracle数据库，通过操作PostgreSQL表同步更新Oracle数据库中的表。前提条件 实例为RDS PostgreSQL 12（内核版本20200421及以上）。说明 您可以执行 SHOW rds_supported_extensions;查看是否...
新增脱敏算法
说明 多个字符串之间用半角逗号（,）分开。目标字符串中的字符串数量需要与替换字符串中的字符串数量相等。例如，将字符串abcd中的ab替换为mn，设置目标字符串为ab，替换字符串为mn，则脱敏结果为mncd。随机替换：将字段的固定位置，替换为...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
字符类型
两种类型都可以存储最多 n 个字符长的串。试图存储更长的串到这些类型的列里会产生一个错误，除非超出长度的字符都是空白，这种情况下该串将被截断为最大长度（这个看上去有点怪异的例外是 SQL 标准要求的）。如果要存储的串比声明的长度短...
字符串替换
当多个字符串都匹配时，全部替换。设置 匹配方式 为 正则表达式匹配 时，输入与待替换内容匹配的正则表达式。当多个字符串都匹配时，全部替换。您也可以用正则分组方式匹配指定的分组。设置 匹配方式 为 去除转义符 时，无需配置该参数。...
TRANSLATE
将 str1 出现在 str2 中的每个字符替换成 str3 中相对应的字符。无匹配则不替换。此函数为MaxCompute 2.0扩展函数。命令格式 string translate(string|varchar,string|varchar,string|varchar)返回值说明 返回STRING类型。如果任一输入参数...
新建拓扑任务
描述（可选）配置任务的描述信息，例如业务含义、影响范围等，最多 1024 个字符。说明 关于自定义参数，您也可以在业务端通过上下文 context（该对象必须实现 Serializable。获取和覆盖自定义参数。代码如下：public class SimpleTaskDemo ...
LLM-敏感信息打码（MaxCompute）
该组件主要用于大语言模型（LLM）的文本数据预处理工作，可以将敏感信息打码，例如将邮箱地址字符替换成[EMAIL]，手机/电话号码替换成[TELEPHONE]或[MOBILEPHONE]，身份证号码替换成[IDNUM]。使用限制 仅支持MaxCompute计算引擎。算法简介 ...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
此外，用户还可以通过使用 pg_read_all_data 和 pg_write_all_data 两个预定义的角色，实现一次性授权tables/views/sequences对象的只读或只写权限，为用户提供更加灵活的数据管理方式。PolarDB PostgreSQL版（兼容Oracle）2.0版本采用了...
字符串函数
CONCAT 命令格式 string concat(string,string[,.])命令说明 将多个字符串连接在一起，生成一个新的字符串。参数说明 a、b：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据...
LLM数据处理
例如：将邮箱地址字符替换成[EMAIL]。将手机电话号码替换成[TELEPHONE]或[MOBILEPHONE]。将身份证号码替换成 IDNUM。以下是对content字段经过处理后的数据示例，其中的邮箱地址已被替换成了[EMAIL]。处理前 处理后 LLM-特殊内容移除-1 将...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
触发器名称长度限制为54个字符。事务 不支持函数和触发器中的自治事务。如果自治事务中发生了写操作，必须显式提交或回滚事务来结束，否则事务会失败。SQL查询 不支持的优化方式：CHOOSE/FIRST_ROWS/FIRST_ROWS_10/FIRST_ROWS_100/FIRST_...
配置Oracle输入组件
重要 选中的多个表必须 具有相同结构的表，否则会导致配置Oracle输入组件失败。切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或 有索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，...
导入SSH密钥对
如果您已有第三方工具生成的密钥对，或者希望多个ECS实例共用同一对密钥进行登录，您可以将该密钥对的公钥部分导入ECS控制台。绑定密钥对后，您即可使用相同的私钥登录不同的ECS实例，而无需为每个实例单独创建新的密钥对。本文介绍如何...
逻辑数仓SQL语法介绍
select*from(values('abc'),('bcd'),('cde'))as t(name)where name like '_b%' 说明%代表 0,1或多个字符。代表一个字符。数值运算符 函数 说明+加法-减法*乘法/除法 函数 数学函数 函数 返回值类型 说明 示例 mod(x)默认与x类型一致 取模。...
配置Oracle输入组件
重要 选中的多个表必须 具有相同结构的表，否则会导致配置Oracle输入组件失败。切分键 您可以将源数据表中字段类型为整型的某一列作为切分键，推荐使用 主键 或有 索引的列 作为切分键。读取数据时，根据配置的切分键字段进行数据分片，...
配置域名和路径的转发策略
转发动作中重写或重定向的路径中需要包含${1}、${2}、${3} 中的一个或多个，且这三个变量不支持使用其他字符代替。替换原理 路径匹配：客户端发送请求，并匹配到某一条路径转发策略的正则表达式。提取与替换：按照正则表达式的规范提取，将...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
新建租户
可以同时选择多个主可用区。10 主地址代理可用区 选择租户主地址代理部署的可用区。说明 主地址代理可用区与数据主可用区不一致时，存在一定数据延迟风险。11 VSwitch 交换机 选择主地址绑定的虚拟交换机 ID，支持查看可用私有 IP 个数。当...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
字符串函数
输入为字符串：将多个字符串连接在一起，生成一个新的字符串。参数说明 a、b：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。a 和 b 中元素的数据类型必须一致。数组中的元素为NULL值时会参与...
高级：账户字段表达式
函数说明 以下为我们开放的常用函数及说明：函数名 函数定义 说明 Append Append(str1,str2,.,strn)拼接输入参数为新的字符串，等于 str1+str2+.Join Join(source1,source2,.,sourceN,separator)将多个源值拼接为一个字符串，源值间用分隔...
- 产品推荐
- 这些文档可能帮助您