模型测评管理

本文详细介绍有关意图模型的测评。

功能介绍

在模型有关配置全部完成后,可进行模型的测评以监测模型的准确率,从而可为模型的优化提供窗口,进而保证模型正式使用的效果。

重要
  • 若需单独测评模型效果,请先创建测评集后,再进行测评。

  • 若需测评模型在质检规则中的效果,请先在质检规则下关联意图模型算子,并使用质检规则的测试功能中进行测试。

单独模型效果测评

  1. 进入智能对话分析系统后,选择智能工具>语义模型训练工具>模型训练管理,进入意图模型训练管理界面;

  2. 点击“测评”按钮进入模型测评界面;

image.png

  1. 进入模型测评界面后点击“新建测评”按钮进行测评任务新建;

image.png

  1. 选择进行测评的测评集后,点击“确定”按钮,完成测评任务新建;

image.png

说明

具体关于测评集介绍请参见数据集管理。

  1. 在模型测评界面查看测评进度,测评完成后可下载测评详情。

image.png

质检规则中模型效果测评

  1. 进入质检规则配置界面并点击“新建规则”按钮进行规则新建。

image.png

  1. 将待测评的意图模型配置在新建规则中。

image.png

  1. 配置待测评意图模型在算子中的运用。需配置内容有“检测角色、检测范围、场景选择、意图选择”四项。

image

  1. 规则建立完成后在质检规则配置界面点击对应规则“测评”按钮进行规则测评,从而进行意图模型测评。

image.png

  1. 根据实际业务需求输入模拟对话,点击“开始测试”按钮完成测评。

image.png