修改任务字段生成重复字段
4、返回任务A，可以看到该任务中生成了两个重复字段「合同金额」和「套餐金额」二、如何解决 为了避免生成重复字段，当前解决办法有：获取企业权限中「强制更新自定义字段」的权限后再统一覆盖所有自定义字段内容。Tips：修改字段名称暂时...
Quick BI使用仪表板中图表的钻取功能后发现字段重复
问题描述 本文主要介绍如何解决Quick BI使用仪表板图表钻取功能后发现字段重复。问题原因 钻取后会显示下个钻取字段并隐藏上个钻取字段，多个钻取字段都存在字段中就会导致钻取字段显示2个。解决方案 字段中只选择一个钻取字段，能解决该...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
返回状态码说明
2022 分区不存在 InexistentColumn-2023 字段不存在 InexistentKey-2024 主键不存在 DuplicateCollection-2025 集合已存在 DuplicatePartition-2026 分区已存在 DuplicateKey-2027 文档主键重复 DuplicateField-2028 文档字段重复 ...
正排索引压缩
由于排重的过程，需要引入排重词典的等辅助数据结构，会增加 Build 和 Merge 的内存开销，所以，如果字段重复度很低时，不建议配置。等值压缩 实际应用中，单值 attribute 和多值 attribute 的 offset 值在按照某个字段全局排序后，相等的...
正排索引压缩
由于排重的过程，需要引入排重词典的等辅助数据结构，会增加 Build 和 Merge 的内存开销，所以，如果字段重复度很低时，不建议配置。等值压缩 实际应用中，单值 attribute 和多值 attribute 的 offset 值在按照某个字段全局排序后，相等的...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中...总行数减去重后的个数，即字段重复值的个数。重复值个数与固定值进行比较。
批量创建质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
批量创建质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
数据建模
重复值 对应分区，总行数减去重后的个数，即字段重复值的个数。重复值个数与期望的固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!重复率 对应分区，重复值个数与总行数的比率与一个期望固定值进行比较，符合规则则通过。...
设计阶段
数据探查的内容主要包括但不限于以下内容：源表数据主键字段重复数。源表字段空值/异常值的统计数。源表之间关联关系。源表字段的数据格式。源表增量规则。探查完成后，最终产出 数据探查报告。如果发现当前数据无法支撑需求的实现，则要将...
算子功能详解
可自定义字段名，注意不能和已有字段重复。Sorter排序 排序字段：单选，Recall 组件返回字段+前面所有Join组件返回字段+前面所有Score 组件的score字段。去重字段：单选，Recall 组件返回字段+前面所有Join组件返回字段。插件参数：设置...
公共规范
公共层数据不允许字段重复率大于60%的相同粒度数据表冗余，可以选择在原表基础上拓宽或者在下游应用中通过JOIN方式实现。数据拆分 数据的水平和垂直拆分是按照访问热度分布和数据表非空数据值、零数据值在行列二维空间上分布情况进行划分的...
新建及管理质量规则模板
两表字段统计值一致性比较/单表字段统计值一致性比较：统计方式：可统计字段分组个数、字段最大值、字段重复率等，详情请参见 模板类型说明。两表字段业务逻辑一致性比较：业务逻辑：输入SQL表达式函数。例如${T1.total_sales}=${T2.unit_...
新建及管理质量规则模板
两表字段统计值一致性比较/单表字段统计值一致性比较：统计方式：可统计字段分组个数、字段最大值、字段重复率等，详情请参见 创建全域数据表质量规则。两表字段业务逻辑一致性比较：业务逻辑：输入SQL表达式函数。例如${T1.total_sales}=$...
查看内置规则模板
总行数减去重后的个数，即字段重复值的个数。重复值个数与固定值进行比较。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。离散值（状态值），固定值。group by之后的分组，每组count数，与固定值进行比较。离散值...
创建全域数据表质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
创建全域数据表质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
添加字段
忽略重复字段 存在相同的字段名时，是否忽略重复的字段。配置示例 添加 aaa2 字段和aaa3字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 ...
配置威胁检测规则
如果您上传的数据集主键列字段存在重复值时，系统将自动删除重复字段。上传的文件模板的大小不超过3 MB。文件模板中的数据集记录不超过5000条。文件模板中，任一数据集字段的长度不超过200 Byte。返回 新增数据集 面板，填写数据集名称、...
使用评估表达式设置触发条件
如果多个查询和分析结果中不含重复字段，则在评估表达式中引用字段时，可以不加$0、$1、$2等前缀。例如 name='sls'。如果多个查询和分析结果中含重复字段，则在评估表达式中引用字段时，必须加$0、$1、$2等前缀。例如$0.name='sls'|$1.name...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
Quick BI报错“column xxx is ambiguous”
产品名称 Quick BI 产品模块 数据集、仪表板 问题描述 数据集预览报错，报错内容是“column xxx is ambiguous”问题原因 添加计算字段时，字段名是手动填写的，数据集又有表关联的操作，关联的表里的某个字段与原表字段名重复，无法识别...
根据领域对象批量生成相关模型
重复数据处理策略 支持以下取值：跳过重复数据 生成结构对象和数据模型时，如果编码已经存在，则结构对象和数据模型的名称、编码以及所有的字段都不做任何修改。生成应用服务时，如果服务编码已存在，服务本身信息不做修改，并继续判断方法...
创建与管理数据模型
重复数据处理策略 跳过重复数据 生成结构对象时，如果编码已经存在，则结构对象的名称、编码以及所有的字段都不做任何修改。生成应用服务时，如果服务编码已存在，服务本身信息不做修改，并继续判断方法是否存在，如果方法编码也相同则不再...
查看数据探查报告及探查记录
若字段存在重复值的情况，治理建议如下：若该字段为 主键 且探查结果存在 重复值，建议您为该字段配置 字段值唯一 的质量监控规则，避免阻断下游业务正常使用。查看数据探查记录 单击 查看探查记录 按钮，进入 查看探查记录 弹框。在 查看...
查看数据探查报告及探查记录
若字段存在重复值的情况，治理建议如下：若该字段为 主键 且探查结果存在 重复值，建议您为该字段配置 字段值唯一 的质量监控规则，避免阻断下游业务正常使用。查看数据探查记录 单击 查看探查记录 按钮，进入 查看探查记录 弹框。在 查看...
保留字段
重要 使用API写入日志数据或添加Logtail配置时，请不要将Key即字段名称设置为这些保留字段，否则可能会造成字段名称重复、查询不精确等问题。旧版投递任务不支持投递_tag_前缀的字段。若当前Logstore的计费模式为按写入数据量计费时，日志...
配置数据识别规则
说明 定义敏感字段类型时，名称必须唯一，当存在重名时系统会提示 敏感字段类型重复。所属分类 下拉列表展示步骤1选中的数据分类，如果您需要修改分类可以在下拉列表进行选择。所属分级 选择敏感字段类型所属级别，对配置的数据进行等级...
查询和分析JSON日志的常见问题
例如为 response 字段设置别名为 clientIp，系统不会判定该别名与 request.clientIp 字段名重复。如何查询和分析有索引的JSON字段？查询和分析语句格式为 查询语句|分析语句。在分析语句中，您必须使用双引号（""）包裹字段名称，使用单...
字段分析
Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所占的最小字符长度。平均长度 该字段值的...
搜索增强
开启后，系统会自动校验，若源数据表中字段和系统自动扩展字段中的“title、content、parent、hier_title、nid”有重复，则需退出流程，更改字段名称。文件存储类型 现支持OSS和HTTP两类数据。文件路径字段 此字段用于获取存在oss中文件...
多表连接
本文介绍多表连接算子的使用方法及注意事项。用途 多表连接算子可以将多张数据表按照设置的连接条件进行连接。多表连接 算子是 两表交集 算子...如果不同来源节点中存在相同的字段名称或者字段代码，需要手动修改重复的字段名称或者字段代码。
多轮对话搜索
开启后，系统会自动校验，若源数据表中字段和系统自动扩展字段中的“title、content、parent、hier_title、nid”有重复，则需退出流程，更改字段名称。文件存储类型 现支持OSS和HTTP两类数据。文件路径字段 此字段用于获取存在oss中文件...
通用参考
输入数据中存在冲突 在原始日志中包含大小写不敏感重复的字段时，如某一条日志同时存在 Status、status 两个字段，SPL会随机选取其中一个字段作为输入，舍弃另一列；举例如下：SPL语句*|extend status_cast=cast(status as bigint)输入数据...
累计计算
当有两个重复的字段放在度量上时，会提示“度量存在重复项”，此时先不用更新数据，等配置完成后再更新即可。在列域找到第二个订单金额，单击右侧的 图标，选择高级计算->累计计算->累计值。单击 更新。此时，会对返回的全部订单金额的结果...
查询与分析日志的常见报错
Duplicate keys(XXX)are not allowed 报错原因 建立索引时，为字段配置了重复的索引。解决方法 检查您的索引配置。具体操作，请参见 创建索引。only support*or?in the middle or end of the query 报错原因 使用模糊查询时，未正确使用...
- 产品推荐
- 这些文档可能帮助您