dedup-semantic（语义去重）

阈值选择建议

输入要求

• 接收上游节点输出的任意列数据。

• 要求数据中包含 field 参数指定的字段，且该字段为文本类型。

输出列

行数变化

M -> N（M >= N）。语义相似的记录归为一簇，每簇保留一条，输出行数小于或等于输入行数。

处理前（5 条）

处理后（3 条）

"什么是机器学习？"与"机器学习的定义是什么？"语义等价（向量距离小于 0.1），归为一簇保留一条；"如何入门Python编程？"与"Python零基础怎么学？"同理。5 条数据去重后保留 3 条。__dedup_emb 列可供下游 semantic-cluster 节点直接复用。

示例一：批内语义去重

对当前批次内的 question 字段进行语义去重，使用默认阈值 "0.1"。

{
  "id": "n4",
  "type": "dedup-semantic",
  "parameters": {
    "field": "question",
    "threshold": "0.1"
  }
}

示例二：全局语义去重

开启全局去重，与 Dataset 中的历史向量进行跨批次语义比对。

{
  "id": "n4",
  "type": "dedup-semantic",
  "parameters": {
    "field": "question",
    "threshold": "0.1",
    "global": true,
    "workspace": "my-ws",
    "dataset": "my-ds"
  }
}

示例三：三级去重完整管道

按照 精确去重 -> 近似去重 -> 语义去重的顺序逐级去重。前置精确和近似去重可大幅减少语义去重的输入数据量，降低 Embedding 计算成本。

{
  "nodes": [
    {
      "id": "n1",
      "type": "project",
      "parameters": {
        "question": "a",
        "input": "b",
        "output": "c"
      }
    },
    {
      "id": "n2",
      "type": "dedup-exact",
      "parameters": {
        "field": "question"
      }
    },
    {
      "id": "n3",
      "type": "dedup-fuzzy",
      "parameters": {
        "field": "question",
        "threshold": "3",
        "global": true,
        "workspace": "my-ws",
        "dataset": "my-ds"
      }
    },
    {
      "id": "n4",
      "type": "dedup-semantic",
      "parameters": {
        "field": "question",
        "threshold": "0.1",
        "global": true,
        "workspace": "my-ws",
        "dataset": "my-ds"
      }
    }
  ]
}

示例四：自定义 Embedding 模型

指定 text-embedding-v3 模型，设置更严格的阈值 "0.05"，通过 column_name 显式指定 Dataset 中的列名。

{
  "id": "n4",
  "type": "dedup-semantic",
  "parameters": {
    "field": "question",
    "threshold": "0.05",
    "model": "text-embedding-v3",
    "global": true,
    "workspace": "my-ws",
    "dataset": "my-ds",
    "column_name": "question"
  }
}

使用建议

• 默认阈值 "0.1" 适合大多数场景，数值越小越严格。

• __dedup_emb 扩展列可供下游 semantic-cluster 节点直接复用，避免重复计算 Embedding。

• 全局去重适用于增量入库场景，需确保 Dataset 已开启向量索引。

• 无需在 dedup-semantic 前单独调用 embedding 节点，该算子内部已包含 Embedding 生成逻辑。

边界与异常