规则评估

规则评估维度使用算法直接计算评分，无需裁判模型，支持字符串匹配与文本相似度两种方式，是成本最低的评测方式。

规则评估概述

规则评估使用算法直接计算评分，无需裁判模型，不产生评分费用，是成本最低、速度最快的评测方式：

• 规则评估-字符串匹配：程序化判定模型输出与参考文本的精确匹配关系（相等/不相等/包含），适合有确定性标准答案的场景，如 Function Calling、NL2SQL。
• 规则评估-文本相似度：使用算法计算模型输出与参考文本的相似度（BLEU/ROUGE/余弦等），适合开放式回答的相似度量化，如翻译、摘要、改写。

与其他维度类型的对比与选择建议请参见评测维度。

创建规则评估维度

登录百炼控制台，选择左侧导航栏的模型评测，切换到评测维度 Tab，单击创建评测维度打开选择弹窗：可在预置模版列表中按类型和标签（文本匹配、文本相似度）筛选（共 28 个，清单见下文），单击模板卡片的使用模版一键套用；或单击+ 创建自定义评测维度进入自定义配置页面。

公共字段（维度名称不超过 20 字符、描述不超过 100 字符、类型创建后不可更改）填写后，按以下步骤完成配置：

规则评估预置模板

规则评估提供 28 个预置模板，按标签分为文本相似度（14 个）与文本匹配（14 个）两类，在创建评测维度弹窗中按标签筛选后单击使用模版套用，列表从系统配置动态获取。

文本相似度预置模板（14 个）：

• ROUGE-1/2/3/4/5 算法：基于 1~5 gram（n 词组）重叠度计算相似度。
• ROUGE-L 算法：基于最长公共子序列（LCS），常用于文本摘要评估。
• BLEU 算法：基于 n-gram 精度与简短惩罚，常用于机器翻译评估。
• Sentence BLEU 算法：句子级 BLEU，针对单句评估优化。
• GLEU 算法：BLEU 改进版本，句子级评估更稳定。
• 余弦算法：基于 TF-IDF 向量化计算余弦相似度。
• Jaccard 算法：基于词集合的交集与并集比值。
• F1 算法：词元级精确率与召回率，支持中英文混合文本。
• Levenshtein 算法：基于 Levenshtein 距离，适用于拼写纠错和近似字符串匹配。
• 编辑距离算法：编辑距离归一化后返回相似度分数。

文本匹配预置模板（14 个）：

• 精确匹配：待评估文本与参考文本完全相同。
• 子串匹配：待评估文本包含参考文本作为子串。
• 前缀匹配/后缀匹配：待评估文本以参考文本开头/结尾。
• 包含全部子串/包含任意子串：待评估文本包含所有/任一指定子串。
• 正则匹配：按正则表达式模式匹配。
• 词重叠率/字符重叠率：词级别/字符级别重叠率。
• 数值准确性：检查回复中的数值是否在容差范围内准确。
• JSON 格式校验/JSON 内容匹配度：验证 JSON 格式合法性/深度对比 JSON 键值内容。
• 推理格式校验/推理工具格式校验：验证推理过程与工具调用 JSON 的格式合规性。

其中包含全部子串、包含任意子串、正则匹配三个模板以评测数据的 extra 自定义字段（见评测集格式）作为评估入参。

相似度算法选择

根据评测任务类型选择合适的相似度算法：

• 翻译任务：BLEU（衡量 n-gram 精确匹配）。
• 摘要任务：ROUGE-L（衡量最长公共子序列）。
• 语义相关性：余弦相似度（衡量语义向量距离）。
• 分类任务：Accuracy（衡量精确匹配率）。
• OCR 和语音识别：模糊匹配（Fuzzy Match）。

常见问题