AI 标注可以根据数据内容和您设置的判断规则,自动为数据集中的记录生成结构化标注结果,适用于意图分类、质量评分、问题识别和文本摘要等场景。本文介绍如何从数据集页面创建 AI 标注任务、查看执行情况,以及检查和修正标注结果。
前提条件
已在目标地域和 AgentSpace 中创建数据集,并写入待标注数据。若数据集包含多个版本,请切换到当前版本后操作。
AI 标注会消耗 Token,并按 AI 积分的实际使用量产生费用。您可以在 AI 标注配置面板顶部单击计费详情查看说明。
步骤一 进入 AI 标注
登录 AgentLoop 控制台,选择目标地域和 AgentSpace,进入数据中心。
在数据集列表中,找到待标注的数据集,单击操作列中的 AI 标注。
在打开的配置面板中,确认当前数据集名称。
您也可以进入数据集详情页,单击页面顶部的 AI 标注。
步骤二 配置标注模板
标注模板用于定义需要阅读的数据字段和需要生成的标注结果。首次使用或需要调整标注内容时,在 AI 标注面板中单击配置标注模板。如果已有适用的模板,可直接进入步骤三。
配置关注字段
在关注字段步骤中,添加完成标注所需的数据内容,例如用户问题、模型回答和业务上下文。
单击增加字段,选择数据集中的字段;需要全部字段时,可单击添加全部 Schema 字段。
根据内容选择展示类型,并填写备注,说明字段的业务含义。
如需读取 JSON 对象中的某个子字段,可输入点分隔路径,例如
metadata.user.name。选择子字段前,请确认对应数据为有效 JSON,且路径与数据结构一致。查看右侧预览,确认字段内容后,单击下一步。
建议只添加与标注目标有关的字段。例如,评价回答质量时,通常需要同时提供用户问题和模型回答。
配置标注 Key
在标注配置步骤中,选择已有标注 Key,或单击新建 Key创建标注字段。每个 Key 表示一个标注维度,例如 intent 表示用户意图,quality_score 表示回答质量。
标注类型 | 用途 | 配置示例 |
文本 | 生成摘要、判断理由或备注 |
|
数值 | 质量评分或数值提取 |
|
布尔 | 判断是否满足某个条件 |
|
枚举 | 从预设选项中选择一个分类 |
|
新建 Key 时,填写 Key 名称、类型、描述及对应配置。Key 名称需以字母开头,仅包含字母、数字和下划线,长度不超过 64 个字符。建议在描述中写清楚判断目标、取值含义和边界条件。
一个模板可以包含多个 Key。AI 将按本次任务选中的 Key 分别生成结果。
预览并保存
进入标注视图预览,检查关注字段、标注控件及显示顺序。您可以拖动卡片左侧的手柄调整顺序。
确认后,单击保存标注模板返回 AI 标注配置;也可以单击保存并进入 AI 标注,继续配置任务。预览中的控件操作仅用于查看效果,不会提交数据标注结果。
步骤三 配置 AI 标注任务
选择展示字段和标注 Keys
在标注配置区域,分别确认本次任务的输入和输出。
配置项 | 操作说明 |
展示字段 | 勾选 AI 本次需要阅读的数据字段。默认选中模板中的全部展示字段,未勾选的字段不参与本次分析 |
标注 Keys | 勾选本次需要生成结果的标注 Key。默认选中模板中的全部 Key,可按任务目标取消部分选择 |
至少选择一个展示字段和一个标注 Key。如果需要的字段或 Key 不在候选列表中,请先单击配置标注模板补充并保存。
配置自定义业务识别规则
如果需要补充业务标准,可在自定义业务识别规则区域添加 Skill。Skill 是使用 Markdown 编写的标注指南,用于说明字段含义、判断步骤、分类边界和参考示例。没有额外规则时,可跳过此项。
添加方式 | 操作说明 |
使用模板 | 单击选择模板,选择错误类型分类或业务场景分类,再按实际字段和业务标准修改内容 |
手动编写 | 选择手动输入 Skill.md,在编辑器中填写标注规则 |
导入文件 | 选择导入 Skill 压缩包,上传 ZIP 文件并单击确认导入。压缩包不超过 10 MB,且只包含一个 |
填写规则时,使用与标注模板一致的字段名、Key 名称和枚举选项。例如,为枚举 Key 定义分类规则时,判断结果应来自已配置的选项。Skill 中的规则用于补充判断标准;需要新增 Key 或枚举选项时,请先修改标注配置。
设置已有标注结果处理方式
处理方式 | 行为 | 适用场景 |
跳过已有结果 | 默认选项。保留当前 Key 已有的值,仅补充缺失的标注项 | 为未完成的数据补齐结果,保留已确认的人工标注 |
重新标注并覆盖 | 为本次选中的 Key 重新生成结果,并替换原有值 | 调整判断标准后重新标注,或统一更新历史结果 |
“跳过已有结果”按 Key 判断。例如,一条记录已有 intent,但缺少 quality_score,任务仍会补充 quality_score,并保留原有 intent。本次未选择的 Key 不参与重新标注。
设置调度策略
根据数据处理需求,选择执行方式。
执行方式 | 配置方法 | 适用场景 |
单次执行 | 设置数据时间范围,任务创建后执行一次标注 | 一次性标注已有数据,或重新标注指定时间范围内的数据 |
周期执行 | 设置调度开始时间和执行间隔,间隔单位支持秒、分钟、小时和天 | 数据持续写入,需要定期进行标注 |
单次执行默认选择最近 1 小时,请根据待标注数据调整时间范围。数据时间范围对应数据集的系统时间字段 __time__,请确保覆盖目标数据。
数据集详情页当前的查询条件或标注筛选不会自动带入 AI 标注任务,请在任务配置中确认本次处理范围。
步骤四 开始标注并查看执行情况
检查展示字段、标注 Keys、业务规则、已有结果处理方式和调度策略。
单击开始标注。
创建成功后,页面将跳转到数据处理列表。打开刚创建的标注任务,查看任务配置和执行情况。
切换到运行历史,查看每次执行的状态、输出行数和耗时;执行失败时,查看对应记录中的错误信息。
周期执行任务可在任务详情页单击暂停或恢复,控制后续调度。
首次使用某套标注规则时,建议先使用包含少量代表性数据的测试数据集执行单次标注,检查效果后再处理正式数据。
步骤五 查看和复审标注结果
标注结果会保存到当前数据集的对应记录中。任务执行后,返回数据集详情页,刷新数据列表查看结果。
查看和修正单条结果
在数据列表中打开目标记录的标注面板,并切换到标注视图。
对照展示字段中的原始内容,检查各个 Key 的结果。
如需修正,修改对应控件中的值,然后单击提交标注;需要继续检查后续记录时,单击完成并下一条。
按标注结果筛选
单击数据集详情页的标注筛选,根据标注状态或具体 Key 的结果查找数据。例如,筛选 is_complaint 为“投诉”的记录,或筛选 quality_score 处于低分范围的记录。
已标注表示记录至少包含一个标注结果,不代表模板中的所有 Key 都已填写。多个标注条件同时配置时,数据需要同时满足这些条件。
使用示例 客服对话质量标注
假设数据集中有两个字段:question 为用户问题,answer 为客服回答。您希望识别用户意图、判断是否投诉,并评价回答质量。
配置模板
将 question 和 answer 添加为关注字段,并创建以下标注 Key。
Key | 类型 | 配置和判断目标 |
| 枚举 | 选项为“物流咨询”“退货退款”“商品咨询”“其他”,识别用户的主要诉求 |
| 布尔 | 真值显示“投诉”,假值显示“非投诉”,判断是否明确表达不满或投诉 |
| 数值 | 最小值为 1、最大值为 5,评价回答是否解决用户问题 |
| 文本 | 最大长度设为 80,简要说明评分依据 |
填写业务规则
在 Skill 编辑器中填写以下内容;如果使用手动输入方式,可用此内容替换示例骨架,并按实际业务调整。
---
name: customer-service-annotation
description: 识别客服对话意图并评价回答质量
---
# 客服对话标注规则
关注字段:question 为用户问题,answer 为客服回答。
1. intent:识别用户的主要诉求,只能选择已配置的枚举选项。
2. is_complaint:用户明确表达不满或投诉时为 true,
仅提出一般咨询时为 false。
3. quality_score:
- 1 分:未解决主要问题,仅给出敷衍或无关回答。
- 3 分:部分回应问题,但缺少关键信息或处理办法。
- 5 分:准确回应问题,并提供明确、可执行的处理办法。
- 2 分和 4 分分别用于介于相邻标准之间的情况。
4. review_note:结合 question 和 answer 简述评分依据,
不超过 80 个字符,不补充对话中不存在的事实。选择上述两个展示字段和四个标注 Key,使用单次执行,将时间范围设置为覆盖示例数据,单击开始标注。
检查结果
对于以下对话:
question:订单已经超过预计送达时间三天了,还没收到货,太让人失望了。answer:请耐心等待。
可参照以下示例检查标注结果是否符合规则。
Key | 示例结果 |
| 物流咨询 |
| 投诉,对应布尔值 true |
| 1 |
| 回复仅要求等待,未说明物流进度或提供查询方案。 |
常见问题
开始标注按钮为什么不可用
请确认已选择至少一个展示字段和一个标注 Key,并填写有效的执行时间配置。如果字段仍在加载、加载失败或 Skill 正在导入,请等待完成或重新加载后再提交。
为什么部分数据没有产生新的标注结果
先检查任务运行状态和数据时间范围。使用跳过已有结果时,已有值的 Key 会被保留;若希望更新这些结果,请重新创建任务并选择重新标注并覆盖。
如何重新标注历史数据
从数据集页面再次进入 AI 标注,确认需要更新的 Key 和业务规则,选择重新标注并覆盖,使用单次执行并设置覆盖目标数据的时间范围,然后开始标注。
展示类型设为图片后是否会自动识别图片
当前 AI 标注用于分析文本及结构化内容。模板中的图片展示类型用于查看图片,不会自动启用图片内容识别。
如何提高标注效果
补充判断所需的上下文,在 Key 描述和 Skill 中明确分类边界、评分标准及信息不足时的处理方法,并先用少量代表性数据检查结果。对于关键结果,可结合人工复审进行修正。