大模型评估的任务场景与评估维度-云监控-阿里云

云监控2.0支持对大模型的输入输出、Agent的tool调用等文本内容进行评估，即通过系统化的方法，从多维角度对大模型的输出、行为和效果进行动态监测和分析。您可以创建评估任务，查看评估任务列表，查看评估结果，评估结果包含评分明细、输入语义分析、主题分布分析、评分大盘。

评估采用LLM作为评估器，选择不同的任务，由大模型给出结论。

评估任务说明

0分表示需要关注，1分表示不需要关注，介于0-1分之间表示部分需要关注。

语义评估是对数据进行语义理解和处理，包括以下功能。

实体信息抽取（NER）
从文本中抽取出原始的实体信息，包括人名、地名、组织名、公司名、时间表达、货币金额、百分比表达、法律文件、国家/地区/政治实体、自然现象、艺术作品、事件、语言、标题、图片和链接等。
格式信息提取
提取 Markdown 或其他文本格式中的标题、列表、强调字体（粗体/斜体）、链接名称和 URL、图片地址、代码块、表格等内容。
对表格进行特殊处理，将每个表格转换为 JSON 格式，其中每一列对应一个 key 和 value。
重点词汇抽取
从长文本中抽取出代表语义的核心词汇，用于描述文本的主要含义。
数值信息抽取
提取文本中出现的数值及其相关信息，如温度、价格等。
抽象信息抽取
- 用户意图识别：识别用户意图，如查询检索、文本润色、决策判定、操作指导等。
- 文本摘要：用几句话描述文本内容，每句话描述一个话题。
- 情绪分类：判断文本情绪为正面、负面或中性。
- 主题分类：对文本涉及的主题进行分类，如体育、政治、科技等。
- 角色分类：识别文本中涉及的角色，如系统、用户、医生等。
- 语言分类：识别文本使用的语言，如中文、英文等。
生成相关问题
针对给定文本，从不同角度提出若干个可以由文本内容回答的问题。