评估器

进入自定义创建评估器页面，填写基本信息：

1. 评估器名称：限制50字符

2. 描述：限制200字符，用于说明评估器用途

创建方式选择 LLM；

选择模型：点击选择模型下拉框，选择用于评估的大模型，评估模型限时免费。

Prompt：在Prompt编辑框中设计评估规则，可点击选择预置评估器导入规则。

配置评分规则：

1. 评分范围：决定评估器的打分尺度。评分范围会作为提示词加入系统提示词中，在编辑系统提示词时，需保持评分范围和系统提示词规则一致。

2. 通过阈值：决定评测结果的Pass/Fail状态。评分 ≥ 阈值为Pass，< 阈值为Fail。

试运行验证：为每个被引用参数填写测试值进行验证，点击开始运行，确保评估逻辑符合预期，点击创建即可保存。

进入自定义创建评估器页面，填写基本信息：

1. 评估器名称：限制50字符

2. 描述：限制200字符，用于说明评估器用途

创建方式选择 Code；

入参设置：

1. 默认参数：系统预置 query 和 response 两个参数，可根据需要修改或删除。

2. 添加参数：可点击添加变量按钮，定义函数输入参数。

执行函数：在代码编辑器中编写Python 3.10函数。

评分范围：决定评估器的打分尺度。评分范围会作为提示词加入系统提示词中，在编辑系统提示词时，需保持评分范围和系统提示词规则一致。

通过阈值：决定评测结果的Pass/Fail状态。评分 ≥ 阈值为Pass，< 阈值为Fail。

试运行验证：输入测试数据，数据格式需包含所有入参，点击开始运行，查看评分结果或错误信息，点击创建即可保存评估器内容。

测试数据示例：

{
 "query": "什么是人工智能？",
 "response": "人工智能（AI）是计算机科学的一个分支，致力于创建能够执行通常需要人类智能的任务的系统。"
 }                       

进入自定义创建评估器页面，填写基本信息：

1. 评估器名称：限制50字符

2. 描述：限制200字符，用于说明评估器用途

创建方式选择 基于评测任务

选择模型：点击选择模型下拉框，选择用于评估的大模型，评估模型限时免费。

选择评测任务：从下拉列表中选择已完成标注的历史评测任务。系统将基于该任务的标注结果学习评估规则。

配置字段映射：将评估器参数映射到评测集字段。系统预置三个必填参数：

• query（String）：用户输入的问题或查询，需映射到评测集中的问题字段（例如：Prompt字段）

• response（String）：待评估的模型输出，需映射到评测集中的回答字段（例如：Completion字段）

• label_score（Number）：人工标注的分数，映射到评测任务中使用的评估器输出分数

注意：

• query和response映射到评测集的数据字段

• label_score映射到评测任务中的评估器（显示为"评估器名称_版本号 自动"）

• 只有已完成评估的评测任务才能用于创建评估器，未完成的评测任务会提示"评测任务中的该评估器状态未完成"

任务描述（可选）：填写评估任务的完整背景信息，包括：

• 系统用途（如"医学问答系统"）

• 目标用户群体

• 使用场景（如"面向医疗专业人员，提供快速准确的临床问答"）

• 该描述将用于自动生成评估标准和最终的评估 Prompt

评估器语言：选择评估器的输出语言，支持中文或英文。

配置评分规则：

• 评分范围：决定评估器的打分尺度

• 通过阈值：决定评测结果的Pass/Fail状态。评分 ≥ 阈值为Pass，< 阈值为Fail

完成配置后点击右上角创建按钮保存评估器。