Kafka增量数据同步至MaxCompute
重要 如果JSON字段名中带有"."字符，由于会引发字段定义语法歧义，无法通过字段定义获取字段值。Kafka某条JSON格式的记录value的数据示例如下。{"a":{"a1":"hello"},"b":"world","c":["xxxxxxx","yyyyyyy"],"d":[{"AA":"this","BB":"is_...
Kafka增量数据同步至MaxCompute
重要 如果JSON字段名中带有"."字符，由于会引发字段定义语法歧义，无法通过字段定义获取字段值。Kafka某条JSON格式的记录value的数据示例如下。{"a":{"a1":"hello"},"b":"world","c":["xxxxxxx","yyyyyyy"],"d":[{"AA":"this","BB":"is_...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
创建文件数据源
数据字段 文件上传至数据库后，会以数据库表的形式存储，数据库字段名称 和 字段类型 为生成数据库表的字段名和类型，而 文件字段名 为上传文件的表头名，会变成数据库表的字段备注。您可以在文件上传时，修改 文件字段名、数据库字段名称 ...
过滤处理
Logtail过滤处理插件支持根据日志字段值来进行日志过滤。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志...
Quick BI自定义标签获取数据源中字段值含义
概述 Quick BI自定义标签获取数据源中字段值含义。详细信息 至少包含 account_id、account_name 或 nick_name 中任意一个字段，且字段对应的用户已添加至组织中。至少包含一个 tag 字段。例如 area。其中 account_id对应于Quick BI组织中的...
数据脱敏
如果您的业务有数据安全的需求，可以设置数据脱敏功能。在数据集中设置需要脱敏的...添加至白名单的用户，不受权限规则限制，可查看该数据集得完整字段值。后续步骤 数据集设置完成后，您可以进行数据分析，请参见 新建仪表板 和 制作图表。
异常类型说明
判断条件 异常类型说明 result.type 字段值为anomaly_info result.anomaly_type 字段值为N_CLUSTER_EVENT_ANOMALY 日志类别中的日志数量异常。result.type 字段值为anomaly_info result.anomaly_type 字段值为NEW_CLUSTER_ANOMALY 出现新的...
统计聚合
通过统计聚合接口可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、嵌套功能；同时支持多个统计聚合功能组合使用，满足复杂...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
用户属性管理
赋值逻辑 选择当用户属性同时关联的多个字段发生冲突时的赋值逻辑，支持：保留创建时间最早的字段值 保留更新时间最晚的字段值 保留出现频次最高的字段值 空值取值逻辑 选择遇字段空值时的取值逻辑，支持：有值优先：当多个字段中有字段为...
查询和分析
无 字段值大小 单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率无法通过关键词查询到日志，但数据仍然是完整的。操作并发数 单个Project支持的最大查询操作并发数为100个。例如100个用户同时在同一个...
文字
使用方法 表达式.Enum.PageFitType.wdPageFitNone 表达式：文档类型应用对象 参数 字段 值 描述 wdPageFitBestFit 2 文档窗口大小进行调整后使页面以最佳尺寸适应活动窗口。BasePoint 通过 BasePoint 指定用于对齐的基点。使用方法 表达式....
添加数据
表单模式添加数据 添加向量数据 在向量管理>添加数据页中选择表进行添加数据：添加相应字段值（包括主键、稠密向量），点击 添加：当执行结果出现"message":"success"说明数据上传成功：数据上传成功后，可以在查询测试页面进行查询：添加...
查看审计日志
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值为map类型，您可以使用下标运算符获取 etl_context 字段值中 project 的值。字段样例 etl_context:{ project:"datalab-148*6461-...
查看审计日志
n 执行状态，见字段值字段 o 内部字段，无需关注。opObj 内部字段，无需关注。p 内部字段，无需关注。param SQL参数。pickIp 内部字段，无需关注。pickUser 内部字段，无需关注。q 数据库类型。r 客户端IP。relateInfo 内部字段，无需关注...
replaceOne
object):Promise请求参数 字段名 类型 必填 说明 filter Object 是 数据库操作时的过滤条件。doc Object 是 替换的目标文档。options Object 否 控制项。options 参数定义：字段名 类型 必填 说明 upsert Boolean 否 如果查找不到对应文档...
查询语法
如果字段名称或者字段值内有空格、冒号（:）、连字符（-）等特殊字符，请使用双引号（""）包裹字段名称或者字段值，例如"file info":apsara。and and运算符。例如 request_method:GET and status:200。如果多个关键词之间没有语法关键词，...
API参考
数据字段获取、更新API/*prop的字段名 参数*用于获取或者更新某个prop，对应的value可能是任何数据类型*/export interface KeyArgs {/*prop的字段名*/key:string;}/*数据字段参数*用于指定是数据的哪个字段*/export interface FieldArgs { ...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 JSON插件字段内容不是JSON格式，推送失败，请检查后重试。JSON插件 字段值不是JSON格式 7504 JSON插件字段内容对应key不存在，补充默认值。JSON插件 字段值JSON内容中不包含JSON...
日志字段详情
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
全局操作函数概览
字段值提取函数 e_regex 根据正则表达式提取字段的值并赋值给其他字段。e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。e_kv 通过quote提取多个源字段中的键值对信息。e_kv_delimit 通过分隔符...
字段过滤
您在制作仪表板或电子表格时，如果您的数据量较大，可以启用过滤器功能，将需要的某一类或者某几类数据从数据集中过滤出来。过滤器可以过滤字符类、数值类和日期类的数据。字符类 您可以通过设置过滤器将直辖市从省份字段里过滤出来。以...
表格
使用方法 表达式.Enum.XlPasteSpecialOperation.xlPasteSpecialOperationAdd 表达式：文档类型应用对象 参数 字段 值 描述 xlPasteSpecialOperationAdd 0x1 复制的数据目标单元格中的值相加。xlPasteSpecialOperationDivide 0x4 复制的数据...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
演示
使用方法 表达式.Enum.MsoTriState.msoTrue 表达式：文档类型应用对象 参数 字段 值 描述 msoTrue-1 带边框。msoFalse 0 不带边框。PpFixedFormatIntent 通过 PpFixedFormatIntent 指定导出文件的目的。使用方法 表达式.Enum....
查看数据探查报告及探查记录
字段值分布 对字段值的分布情况进行统计，并生成字段值分布图，帮助您快速了解字段值分布概况，为后续链路的数据开发和应用提供参考。所有数据类型均支持，不同字段数据类型统计指标不同。字段值直方图和条形图详情如下：若该字段为 数值型...
查看数据探查报告及探查记录
字段值分布 对字段值的分布情况进行统计，并生成字段值分布图，帮助您快速了解字段值分布概况，为后续链路的数据开发和应用提供参考。所有数据类型均支持，不同字段数据类型统计指标不同。字段值直方图和条形图详情如下：若该字段为 数值型...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等；...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等；...
控制台错误日志说明
校验场景 主键类型为文本类型，字段值为null or empty 7503 json插件字段内容不是JSON格式，推送失败，请检查后重试。json插件 字段值不是JSON格式 7504 json插件字段内容对应key不存在，补充默认值。json插件 字段值json内容中不包含json...
字段分析
Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所占的最小字符长度。平均长度 该字段值的...
数据建模
标准字典值校验 对应分区，字段值与对应数据字典的值编码进行比较，字段值全部存在于字典的值编码中的，则规则通过。自定义SQL规则：单表自定义SQL：除了表和字段不支持的规则外的其他自定义SQL规则返回值和期望值做对比。说明 Select结果...
列级权限
在仪表板查询字段时，该用户仅可以查看规则范围内的字段值，从而保证数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。禁止规则及效果展示 禁止规则 配置分析师A禁止查看 客户名称 字段。效果展示 在交叉表中，分析师A无法查看 ...
使用数据实验室
在 日志字段 页签中，包括字段名称、字段数据类型、字段随机参数和字段值等信息，您可以根据需求，调整字段随机参数和字段值。在 范围频率 页签中，可调整如下参数。参数 说明 时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
- 产品推荐
- 这些文档可能帮助您