对话排序

更新时间:
复制 MD 格式

对话排序模板用于对多条对话回复按质量排序。适用于评估对话系统回复质量、人工偏好标注等场景。

数据格式示例

说明

CSVXLSX格式中每一列数据;Manifest格式中data字段的下一级字段均对应一个数据集字段,字段名可自定义,配置数据集字段名时选择匹配的名称即可。

CSVXLSX格式

post

item1

item2

item3

item4

青橘子好吃吗?

嗯 橘子好吃

不对不对

晴王好吃

晴王是啥,晴王是绿色的大葡萄吗?

青橘子好吃吗?

橙子好吃

橙子不好吃

橙子没有西瓜好吃

西瓜也不好吃

文件Demo参考:对话排序数据demo.csv

Manifest格式(JSONL格式)

{"data":{"post":"青橘子好吃吗?","item1":"嗯 橘子好吃","item2":"不对不对","item3":"晴王好吃","item4":"晴王是啥,晴王是绿色的大葡萄吗?"}}
{"data":{"post":"青橘子好吃吗?","item1":"嗯 橘子好吃","item2":"不对不对","item3":"晴王好吃","item4":"晴王是啥,晴王是绿色的大葡萄吗?"}}

文件Demo参考:对话排序数据demo.manifest

配置说明

题目区(必选)

题目区用于配置题目展示字段。

image

单击选中题目,选择数据集,然后在右侧配置区域配置参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

数据集字段

选择题目展示字段,字段名均可自定义。

提示

默认提示区域无需修改。

点击链接跳转

无需配置,不生效。

文本高亮

无需配置,不生效。

卡片样式配置

无需配置,不生效。

待排序内容区(必选)

待排序内容区用于配置排序文本及相关问题。

image

单击选中排序文本,在右侧配置区域配置参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

数据集字段

选择多个字段作为待排序文本,字段名均可自定义。

提示

默认提示区域无需修改。

点击链接跳转

无需配置,不生效。

文本高亮

无需配置,不生效。

卡片样式配置

无需配置,不生效。

全局题目(可选)

全局题目用于对整个主题提出问题。

image

单击选中题目,在右侧配置区域配置参数。参数说明如下:

参数

说明

标题

根据需要配置问题标题。

占位文本

说明

当答题类型为单行输入框输入框-Markdown预览时,需要配置此参数。

填空题占位文字,引导用户输入内容。

选项

说明

当答题类型为单选多选树选择多选树选择时,需要配置此参数。

  • 答题类型为单选多选时,支持手工录入数据集导入词典搜索暂不可用。

  • 答题类型为树选择多选树选择时,仅支持手工录入。

提示

鼠标悬停在题目标题上时显示的提示文字。

是否必填

设置题目是否必填。设为必填后,答题时系统会校验该字段是否为空。

支持搜索选项

说明

当答题类型为单选多选时,需要配置此参数。

开启后,答题时支持搜索选项。

生效阶段

题目的生效阶段。不选则默认全流程生效。

全局配置

全局配置用于设置对话排序模板的内容和布局。

image

单击image,在右侧配置区域配置参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

开启全部排序

默认开启。关闭后,提交任务时不再校验待排序卡片是否全部拖拽至排序区。

固定题目

默认关闭。开启后滚动页面时,题目区的post内容保持可见(方便对照排序内容)。

文本划词标记

默认关闭。开启后,卡片内容区域支持划词标注,拖拽排序需点击文本以外的区域(避免与划词操作冲突)。关闭时,卡片内容区域展示已标记的关键词(点击眼睛图标可在弹窗中标记关键词)。

布局方式

设置待排序区的布局方式,默认为上下布局。

最大卡片数

排序区每个待排序列表最多排入几个排序项。值小于1时不限制最大卡片数。

最小卡片数

排序区每个待排序列表最少排入几个排序项。请确保卡片数量大于各等级最小值之和,否则无法提交任务。

是否开启词典

目前云上无法使用此功能。默认关闭。

文本列数

设置文本列数,取值范围2~7列。

文本高度

设置文本高度,取值范围25~850像素(px)。

通用配置

无需配置,不生效。

快捷键说明

  1. 选中一个排序内容后,按Control + 数字可将该内容放入rank数字的排序项中。

  2. 关闭开启全部排序时,选中一个已排序内容,按Control + 0可将该内容从排序中删除。

操作演示

拖拽卡片即可完成排序。

image