Map映射函数和运算符
现使用map函数将两个字段的值（两个数组）映射为一个Map，将班级和班级人数一一对应。字段样例 class:["class01","class02","class03","class04","class05"]number:[49,50,45,47,50]查询和分析语句*|SELECT map(try_cast(json_parse(class)...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
CSV格式
存在同名字段时，系统只随机投递其中一个字段的值。请尽量避免日志中使用同名字段。分隔符 支持半角逗号（,）、竖线（|）、空格和制表符，用于分割不同字段。转义符 当字段内出现分隔符时，需要使用转义符包裹该字段，避免读数据时造成字段...
表格函数
city:nanjing 加工规则 e_table_map(tab_parse_csv("province,city,pop,gdp shanghai,shanghai,2000,1000 jiangsu,nanjing,800,500"),"city","province",)加工结果 city:nanjing province:jiangsu 示例2：直接构建，并映射多个字段的值。...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
删除有约束的列
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
有约束的列修改类型
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7。...
字段操作函数
当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。相关示例，请参见 调用函数清洗数据。e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。相关示例，请参见 调用函数清洗数据。e_...
质量规则模板类型
跨源两表字段统计值一致性比较 用于对跨数据源的两个表两个字段的复杂业务逻辑是否正确进行校验。稳定性 表稳定性校验 用于对表/分区的大小、行数的稳定性进行校验，统计结果和固定值进行比较。表波动性校验 用于对表/分区的大小、行数的...
质量规则模板类型
跨源两表字段统计值一致性比较 用于对跨数据源的两个表两个字段的复杂业务逻辑是否正确进行校验。稳定性 表稳定性校验 用于对表/分区的大小、行数的稳定性进行校验，统计结果和固定值进行比较。表波动性校验 用于对表/分区的大小、行数的...
ALTER DATABASE
ALTER DATABASE 更改一个数据库的属性。简介 ALTER DATABASE 更改一个数据库的属性。第一种形式更改某些针对每个数据库的设置。只有数据库拥有者或者超级用户可以更改这些设置。第二种形式更改数据库的名称。只有数据库拥有者或者超级用户...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
查看敏感数据血缘（公测）
查看边信息 单击两个字段中间的边关系按钮，将在右侧弹窗展示边关系详情。包括：边关系、边关系类型、SQL详情、上游节点列表、下游节点列表。对于识别结果不准确的数据，您可以单击 边关系类型 右侧的下拉框修改字段间关联关系；单击上下游...
探查数据集
在列表上方的统计数据部分，查看每个字段的 唯一值个数。单击 或，查看 高价值数据 和 统计数据。可选，单击复选框，选择不同的字段。可选，单击，选择当前字段的排序方式。可选，单击，在当前字段中筛选出需要探查的具体数据。可以选择多...
查看数据探查报告及探查记录
唯一值统计 为您统计该字段的唯一值记录数及重复值记录数最高的5个字段值。建议针对主键字段不可重复的值或出现频率最高字段的值配置该探查场景，此外，若字段类型为 布尔型，不支持唯一值统计。若字段存在重复值的情况，治理建议如下：若...
查看数据探查报告及探查记录
唯一值统计 为您统计该字段的唯一值记录数及重复值记录数最高的5个字段值。建议针对主键字段不可重复的值或出现频率最高字段的值配置该探查场景，此外，若字段类型为 布尔型，不支持唯一值统计。若字段存在重复值的情况，治理建议如下：若...
PolicyItem
例如 key 为 x-test-uid，则请求中 x-test-uid 字段的值将决定请求是否被路由到灰度版本上。x-test-uid value string value 指定控制流量灰度的字段值。请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，...
控制台错误日志说明
索引重建错误 编号 含义 触发条件 7500 系统错误-7601 定时任务执行失败 定时索引重建执行失败 数据同步错误 错误码 报错内容 使用场景 触发条件 7301 文档主键值不存在,请检查后重试 校验场景 字段的值为null即触发 7304 文档主键值为空,...
管理敏感数据
支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、达梦数据库（DamengDB）、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、DB2、Lindorm_CQL、Lindorm_SQL、OpenGauss。数据仓库：...
新建数据探查任务
唯一值统计：统计该字段的唯一值记录数及重复次数最高的5个字段值。布尔型不支持唯一值记录数统计。数据过滤 开启后，可在代码框中配置数据过滤的脚本。例如：city='hangzhou'。探查范围 用于设置需要探查记录数。支持全部记录、随机抽样n...
新建数据探查任务
唯一值统计：统计该字段的唯一值记录数及重复次数最高的5个字段值。布尔型不支持唯一值记录数统计。数据过滤 开启后，可在代码框中配置数据过滤的脚本。例如：city='hangzhou'。探查范围 用于设置需要探查记录数。支持全部记录、随机抽样n...
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
列级权限
设置查看规则 当您的数据集中存在敏感字段（员工级别、员工薪资、客户姓名等）时，系统将该字段的值隐藏。此时，您可以配置权限规则为 禁止查看。登录 Quick BI控制台，在工作台中设置目标数据集的列级权限。打开 启用列级权限 开关。启用...
Unpivot 列转行
month的值-或(select*from(values('jan'),.('dec'))t(se_month))'select distinct se_month from tbl_sellers_info order by 1')as-crosstab 输出格式(js jsonb,-第一个参数SQL内对应的order by对应的字段（1个或多个）Jan numeric,-第一个...
基本概念
Trajectory Field Value 轨迹属性值，轨迹属性在某一时刻某个字段的值。Trajectory Events 轨迹事件，在轨迹行程中发生的额外事件，比如汽车行程轨迹中的加油事件、抛锚事件、锁车事件等，由事件类型ID和事件时间组成。图 1.轨迹示意图
查询原始日志
在 原始日志 页签，您可以查看原始日志信息。...支持在过滤语句中插入 可选参数域，将对应字段的值作为过滤条件。例如单击输入${_topic_}，跳转后的日志库的查询语句中会拼接 AND 后查询。变量 暂不支持配置变量。单击 确认。
JSON函数
如果日志字段的值为JSON类型且需要展开为多行，请使用unnest语法。更多信息，请参见 UNNEST子句。如果字符串被解析成JSON类型失败，则返回null。如果在采集过程中，JSON日志被截断，则在使用JSON函数进行查询与分析时，系统将报错且中止...
URL函数
示例 对 url 字段的值进行编码。字段样例 url:https://homenew.console.aliyun.com/home/dashboard/ProductAndService 查询和分析语句*|select url_encode(url)查询和分析结果 url_decode函数 url_decode函数对URL进行解码。语法 url_...
特定结构化数据函数
restrict Bool 否 提取字段的值不是合法的JSON格式时，是否严格限制加工。默认值False。False：忽略报错，数据加工继续处理，返回 default 定义的值。True：直接报错，数据加工不再继续处理，直接丢弃该条日志。返回结果 返回提取到的值。...
追加字段
您可以使用processor_appender插件为指定的字段（可以为不存在的字段）追加特定的值，支持在字段值中添加模板变量。该插件通常与input_prometheus、input_system_v2等时序监控相关的插件结合使用，用于给拉取到的Prometheus数据追加特定的...
MaxAggregation
在多元索引统计聚合中表示求最大值，用于返回一个字段中的最大值，类似于SQL中的max。请求数据结构 message MaxAggregation { optional string field_name=1;optional bytes missing=2;} 名称 类型 是否必选 描述 field_name string 是 ...
MinAggregation
在多元索引统计聚合中表示求最小值，用于返回一个字段中的最小值，类似于SQL中的min。请求数据结构 message MinAggregation { optional string field_name=1;optional bytes missing=2;} 名称 类型 是否必选 描述 field_name string 是 ...
滑动选择条
本文介绍滑动选择条全量选择时各配置项的含义。图表样式 滑动选择条是高级控件组件的一种，支持自定义设置滑动选择条的输入设置样式、滑动条样式和输入框样式，可...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
管理敏感数据
说明 开通敏感数据管理功能后，即可查看当前实例中的数据库相关信息和数据库中敏感字段的扫描结果。根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感...
配置FTP输出组件
以TEXT格式批量配置，例如：/示例：user_id,String user_name,String 行分隔符用于分隔每个字段的信息，默认为换行符（），可支持换行符（）、分号;点（.）。列分隔符用于分隔字段名与字段类型，默认英文逗号（,）新建输出字段：单击+新建...
配置FTP输出组件
以TEXT格式批量配置，例如：/示例：user_id,String user_name,String 行分隔符用于分隔每个字段的信息，默认为换行符（），可支持换行符（）、分号;点（.）。列分隔符用于分隔字段名与字段类型，默认英文逗号（,）新建输出字段：单击+新建...
全局操作函数概览
e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。e_output 输出日志到指定的Logstore中，且对应的日志不再执行后面的加工规则。e_coutput 输出日志到指定的Logstore中，且对应的日志继续执行后面的加工...
- 产品推荐
- 这些文档可能帮助您