裁判员模型概述

背景介绍

模型评测是开发和部署大语言模型（LLM）过程中至关重要的一环，能够检验模型表现是否达到预期效果，从而推进模型的调整和优化，为用户提供有价值和可靠的模型服务。常见的模型评测方式有以下几种：

1. 指标评测：使用评估指标（如BLEU、ROUGE、METEOR等），计算生成文本和参考文本的相似度，快速提供评测结果。不过这类指标适用于文本摘要、机器翻译等有限场景，依赖提供参考文本，而且往往仅考虑表面的相似度，可能会忽略深层语义和上下文连贯性。

2. 基准（benchmark）评测：通过标准化数据集（如MMLU、GSM8k、HumanEval等），在一系列预定义任务上对模型进行测试。目前已有不少流行的基准，由于基准以客观题为主，评测结果具有标准性和可比性，所以便于使用这些基准建立LLM排行榜。然而，这种方法无法评价模型在主观和发散型问题上的表现。

3. 人工评测：制定评分标准，设置人类评审员进行打分，汇集结果进行统计分析。前面的两种方式都是基于规则的评测，无法评测没有明确的参考答案的主观问题，而人工评测可以理解复杂多样的语义，评测结果和人类的预期能够达成一致。不过人工评测需要大量的资源和时间的成本。

因此，为了弥补以上评测方法的局限性，我们推出了裁判员模型服务。裁判员模型无需人工标注，不限特定任务，无论是主观问题还是客观问题，都能够批量实现LLM的自动化高效评估。

功能概述

PAI推出了审明师（Themis）裁判员大模型，用户只需输入问题和待评测模型的回答，即可实现自动化打分。核心原理如下：

裁判员模型的主要亮点有：

• 准确：裁判员模型擅长进行主观问题的评测，能够对问题进行智能场景分类，如开放性问题（闲聊/咨询/推荐等）、创意写作、代码生成、角色扮演等场景，针对不同场景会制定不同的评测标准，极大提高了评测的准确率。

• 高效：裁判员模型无需人工标记数据，只需输入问题和模型回答，即可自主完成对大语言模型的分析与评价，大幅提高了评测的效率。

• 易用：提供了控制台创建评测任务、API调用、SDK调用等多种使用方式，既满足了用户快速上手体验，也便于开发灵活接入。

• 低成本：仅需较便宜的价格，即可在中文评价场景中，提供与ChatGPT-4效果相媲美的评估性能。

计费说明

目前裁判员模型处于免费公测阶段，暂无相关费用。

开通服务

1. 登录PAI控制台，单击立即开通，然后按照控制台操作指引，开通模型服务。

   

2. 开通后，即可在裁判员模型页面查看Host、Token等调用参数，以及调用量等详情。

   

使用裁判员模型

开通裁判员模型功能后，您可以通过以下两种方式使用裁判员模型服务：

• 裁判员模型API使用说明

  使用Python SDK或HTTP方式调用裁判员模型算法服务，输入问题和模型推理返回的结果，返回评测的分数和理由。

• 模型评测

  在控制台进行操作，选择预置的多种LLM模型，实现推理+评测的一体化流程。