模型评测维度

维度描述是用户评测时所看到的维度明细文案。

创建评测维度模板

  1. 登录阿里云百炼大模型服务平台

  2. 前往评测维度页面,单击创建维度模板,配置以下各项参数,其他参数保持默认配置。

    参数名称

    参数说明

    模板名称

    评测维度模板的名称。

    用户自定义设置。

    维度名称

    评测维度的名称。

    用户自定义设置。

    量级

    评测维度分为几个等级。

    用户自定义设置。

    维度说明

    将以Tips格式展示在维度名称旁边,方便评测人员了解维度具体含义。

    用户自定义设置。

    添加描述

    对每个量级的描述。

    例如:“量级”选择“5”时:

    • 数字型描述可以设置为“1分-5分”。

      image

    • 文本型描述可以设置为“非常差、较差、一般、较好、好”。

      image

    对应获得分值

    每个量级对应的分值,与量级描述一一对应。用户评测时仅会看到描述,不会看到分值。分值用于评测结果的分值计算和生成,为后台计算逻辑。

    分值默认从1开始,自左向右递增。如“非常差”分值为1、“较差”分值为2、“一般”分值为3、“较好”分值为4、“好”分值为5。支持在“分值注释”中阐述分值逻辑。

    image

    分值注释

    从左到右的评分描述,例如最左边代表“效果差”,最右边代表“效果好”。

  3. 单击增加维度新增维度,参考上述操作配置相关参数。最多支持增加10个维度。

  4. 单击完成,完成模板创建。

管理评测维度模板

评测维度页面的模板列表中,您可以对已成功创建的评测维度模板进行以下管理操作:

  • 查看评测维度模板。

    在已创建的评测维度模板操作列单击查看

  • 删除评测维度模板。

    在已创建的评测维度模板操作列单击删除

后续步骤

在模型评测时,您可以按照评测维度模板中定义的评测维度对模型生成结果进行打分或排序,得到模型评测结果。详情请参见模型评测简介