知识图谱解析

更新时间:
复制 MD 格式

知识图谱解析算子用于基于大模型从非结构化数据中解析实体与关系,并写入指定的知识图谱空间。本文介绍知识图谱解析算子的配置方法。

前提条件

  • 当前实例购买非结构化数据-企业版后,方可使用知识图谱算子。

  • 已完成工作流的创建,详细创建步骤请参见创建及管理工作流。

  • 已完成知识图谱空间及其模型的创建,详细创建步骤请参见创建及管理知识图谱空间。

背景信息

  • 知识图谱解析算子的文档解析与分片策略由系统自动决策,无需配置。如需对解析或分片做精细控制,可在本算子之前编排文档解析、文本chunk切分等算子完成预处理,再将处理结果以文本字段接入本算子。

  • 知识图谱解析算子默认分配1Core、4GB资源。

使用限制

知识图谱解析算子仅支持在离线工作流中使用。

权限说明

Basic项目的项目管理员、开发者、分析师以及拥有数据集-使用权限的自定义项目角色,可在算子的输入和输出数据集中使用该项目下的所有数据集。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发。

  2. 在开发页面的顶部菜单栏选择项目。

  3. 在左侧导航栏中选择数据处理 > 工作流,在左侧工作流列表中单击目标工作流,打开工作流画布,在左侧算子库中拖动知识图谱解析算子至画布中,并在右侧知识图谱解析面板中配置以下参数。

    参数

    描述

    步骤名称

    输入当前算子名称,支持任意字符,不超过64个字符。

    输入配置

    数据集

    选择需处理的数据集,可选择文件数据集、混合数据集和表数据集。数据集选择完成后还需选择其版本,默认为该数据集正序的第一个版本。

    当前算子作为其他算子的下游时,此处所选数据集通常与上游算子的输出数据集一致。

    输入字段

    待解析的数据来源,仅混合数据集和表数据集需要配置。

    • 混合数据集:可选择类型为URL或文本的字段。选择URL字段时,系统从URL下载文件后解析;选择文本字段时,直接读取字段内容作为输入。

    • 表数据集:仅可选择类型为文本的字段。

    • 文件数据集:仅解析pdf、doc、docx、xlsx、txt、md、html格式文件,其余格式自动跳过,无需配置输入字段。

    过滤条件(非必填)

    使用SQL语法,仅需输入where语句后的过滤条件,支持使用系统全局变量,例如业务日期${bizdate}。仅混合数据集和表数据集支持配置过滤条件。

    模型配置

    模型

    需指定当前算子使用的模型,仅可选择智能应用管理 > 模型配置中模型类型包含文本或视觉且已启用的模型。

    提示词(Prompt)(非必填)

    在系统自动拼接的提示词之外补充业务背景或抽取侧重点,例如领域抽取指南、歧义消解规则和属性格式约束,不超过500个字符。系统已自动注入知识图谱抽取规则、所选图谱空间的描述及实体类型和关系类型定义,无需重复填写。

    领域术语表(非必填)

    上传领域术语文件后,系统在解析时注入术语,提升专业领域的抽取准确率。支持上传xlsx、xls、txt、csv格式的文件,单个文件大小不超过5MB。鼠标悬停在模板格式上,可查看模板,您可按照模板格式准备文件并上传。

    上传术语表后还需选择注入模式:

    • topK:默认注入模式,基于知识图谱空间配置的向量化模型计算术语与待解析文本的语义相似度,仅注入最相关的术语。还需配置注入条数(K值),支持5~100,默认为20。术语数量较多时推荐使用该模式。

    • 全量:注入术语表中的全部术语,适用于50条以内的小型术语表。

    知识图谱输出

    输出图谱空间

    选择解析结果写入的知识图谱空间。可选择当前实例下所有已创建且已有权限的知识图谱空间,对于没有权限的空间,可单击去申请权限,申请对应知识图谱空间的权限。所选空间同时作为实体类型、关系类型和业务识别规则的来源,选定后相关配置项自动联动。

    输出实体/关系范围

    限定大模型识别的实体类型和关系类型范围,未选中类型的识别结果将被过滤。

    • 全部实体/关系:默认选项,输出所选图谱空间中全部的实体类型和关系类型,并在每次任务运行开始时同步图谱模型的最新变更。

    • 指定实体/关系:手动选择需要输出的实体类型和关系类型(非必填),其中实体类型至少选择一项。选择关系类型后,系统自动带入该关系涉及的来源实体和目标实体,且不支持取消。

    更多信息请参见实体类型与关系类型。

    写入模式

    • 覆盖写入:解析结果与图谱中已有实体或关系重复时,仅使用解析结果中的非空属性值更新已有属性,解析结果中为空的属性保留原值。

    • 仅追加:解析结果全部作为新实体和新关系写入图谱。

    • 全量覆盖:先清空输出范围内的全部实体和关系,再写入解析结果。该模式仅适用于重建图谱的场景,请谨慎使用。

    消歧设置

    解析结果与图谱中已有实体重复时的处理方式,仅写入模式为覆盖写入时需要配置,且对所选的全部实体类型统一生效。

    • 跳过消歧:默认选项,不做重复判断,解析结果全部作为新实体写入图谱。

    • 执行消歧

      • 直接新建:结合实体类型上配置的业务识别规则判断重复,仅对系统极度确信为同一实体的解析结果关联到已有实体(需该实体类型的业务识别规则已开启自动关联),其余情况均作为新实体写入,不产生候选项。适用于数据质量较高且不希望增加人工复核成本的场景。选择该选项时,默认使用所选实体类型下已开启的全部业务识别规则,但会跳过包含语义相似度匹配的规则。

      • 交人工确认(推荐):对系统极度确信为同一实体的解析结果自动关联到已有实体(需该实体类型的业务识别规则已开启自动关联),对疑似重复的解析结果生成候选项,需前往知识图谱空间的候选项审核页面人工确认,其余情况均作为新实体写入。在自动化效率与避免误合并之间更均衡。规则的使用范围与直接新建一致。

    更多信息请参见业务识别规则。

    说明
    • 知识图谱解析算子的输出形态由系统统一控制,不支持自定义输出字段及其映射关系。

    • 所选实体类型或关系类型被删除时,若全部被删除,任务运行报错;若部分被删除,任务仍可正常运行。两种情况下再次编辑该算子均会提示对象已删除,需手动修改输出范围后方可保存成功。

  4. 配置完成后,单击画布顶部菜单栏中的保存,保存此次配置。

    单个算子配置完成后,可继续为其选择上游或下游算子来完成完整工作流的配置。