X-数据工程

X-数据工程能够根据您输入的需求说明,自动生成集成任务、数据模型(概念模型、逻辑模型、分析模型)和代码任务。

前提条件

  • 需开通智能研发版才能使用X-数据工程。

  • 已配置并开启X-数据工程助手,详情请参见智能应用

使用限制

GaussDB(DWS)计算引擎不支持使用智能应用。

主题域模型生成后,仅已开通资产运营,且拥有目录规划-管理权限的用户,支持创建为资产专题目录操作。

权限说明

  • 超级管理员、系统管理员、运营管理员和具有X-数据工程-查看权限的自定义全局角色支持查看和使用X-数据工程助手。

  • 若用户没有规划-业务-查看权限,则无法使用X-数据工程完成概念建模。

  • 若用户没有规划-业务-管理权限,则无法发布概念模型。

新建对话

X-数据工程中支持创建概念建模(基于企业业务描述生成数据概念模型)和逻辑建模(基于概念模型业务实体生成逻辑表)。

新建概念建模对话

  1. Dataphin首页的顶部菜单栏,选择超级X > X-数据工程,进入X-数据工程页面。

  2. X-数据工程页面中,单击概念建模卡片。

  3. 在底部对话框中输入需求说明,必要时可单击image图标上传说明文件。

    支持上传txt、md、html、doc、docx、pdf、xls、xlsx、ppt、pptx、csv格式的文件,单次最多上传10文件,每个文件大小不超过2MB。

  4. (可选)当前X-数据工程中提供两个示例,您可单击示例下方的使用示例,系统将按照示例中的信息创建相应概念建模。

  5. 生成概念建模答复后,您可基于生成的模型,根据实际需求进行编辑和修改。修改完成后,单击概念建模面板中的发布模型,系统将自动在当前租户下创建相应对象。

    • 单击对话消息中说明文件后的image图标,可下载对应文件。

    • 模型生成后,单击对话消息中的image图标,系统将重新生成模型。

    • 您可以根据生成的模型是否符合需求进行点赞或点踩。当您单击点踩时,可以填写并提交反馈信息,字数不超过512个字符;也可以直接关闭反馈信息对话框,此时系统仅记录点踩状态。

    • 单击数据板块、主题域或业务实体节点,可将其引用至对话中。

    • 系统将自动为每次的返回结果从1开始进行编号,单击对话消息中的image图标,模型将回滚至此对话对应的版本。

  6. (可选)发布概念模型后,您可继续生成逻辑建模,操作详情请参见新建逻辑建模对话

新建逻辑建模对话

  1. Dataphin首页的顶部菜单栏,选择超级X > X-数据工程,进入X-数据工程页面。

  2. X-数据工程页面中,单击逻辑建模卡片。

  3. 为所选业务实体和其关联实体在所选项目中生成逻辑表,同时您可补充业务实体说明或上传文档。

    • 业务实体:可选择当前租户下所有数据板块中,已上线且未创建逻辑表的业务实体(包括普通业务对象和所有业务活动)。

    • 项目:选择项目前需先选择业务实体,可选择所选业务实体对应数据板块所绑定的所有项目。

  4. 发送后,系统将自动获取所选业务实体的关联实体(未创建任何逻辑表的普通业务对象),您可将鼠标悬停至每个业务实体后的image图标上,查看对应业务实体的实体名称、编码、主题域和实体类型信息。

    同时,您还需确认逻辑表来源数据。系统将自动按照实体排列顺序,依次为每个实体推荐来源表(优先推荐各业务实体所属板块绑定项目下的表),您可删除推荐表或添加来源表。单击添加,可在逻辑表来源表面板中添加多个来源表。来源表面板中展示来源表名、所属数据板块、所属主题域和所属项目,您可输入表名关键字进行快速搜索,同时可根据数据板块、项目和表类型进行筛选。

  5. 所有业务实体的来源表配置完成后(所有业务实体的来源不为空时),单击生成逻辑表,系统将根据业务实体和来源表,先后生成逻辑表的字段列表和计算逻辑。

    1. 逻辑表字段列表:字段列表中包含字段名称、说明、数据类型、字段类别和描述。您可基于生成的逻辑表字段信息,根据实际需求进行编辑和修改。

    2. 逻辑表计算逻辑:逻辑表字段列表修改完成后,单击下一步,系统将自动生成该逻辑表的计算逻辑。在计算逻辑生成后,您可以在左侧对话框中输入当前逻辑表计算逻辑的优化说明。补充优化说明后,系统将重新生成计算逻辑,您可对计算逻辑代码进行编辑和格式化等操作。编辑完成后需重新校验,单击开始校验,待校验通过后,方可提交。

  6. (可选)每次对话完成后,您都可以对模型的答复进行点赞或点踩。当您单击点踩时,可以填写并提交反馈信息,字数不超过512个字符;也可以直接关闭反馈信息对话框,此时系统仅记录点踩状态。

  7. 单击提交,开始提交流程。提交成功后,当前逻辑表状态为成功。

对话管理

  • 对话记录:单击右上角的对话记录,在对话记录对话框中,可查看最近20条对话记录,并可以执行如下操作。

    • 搜索:您可以根据标题关键字搜索对话记录。

    • 重命名:单击对话记录名称后的重命名图标,支持重命名对话记录的名称,不超过256个字符。

    • 删除:可单击搜索框后清除图标,删除全部对话记录,也可单击对话记录名称后的删除图标,删除单条对话记录。

  • 新建对话:单击右上角的新建对话,重新开启新一轮对话。

建模中支持的操作

概念建模中支持的操作

image

区块

说明

全屏展示

单击image图标,将全屏展示视图。全屏后,单击image图标,改为面板展示。

搜索与视图转换

  • 搜索:可输入板块、主题域或业务实体的名称或编码进行模糊搜索。

  • 创建为资产专题目录:主题域模型生成后,可单击创建为资产专题目录,在快捷创建资产专题目录对话框中选择资产类型,并选择创建方式

    • 资产类型:默认选择表,可选项与资产-目录管理中一致。切换资产类型时,将不会修改所选的创建方式。

    • 创建方式:可选择每个板块创建为1个新专题板块作为一级目录,创建新专题板块作为一级目录,添加到已有专题

      • 每个板块创建为1个新专题:默认选中此项,创建时将每个板块作为一个专题,主题域对应目录。

      • 板块作为一级目录,创建新专题:选中此项后,还需配置专题名称,专题名称唯一且不超过256个字符。创建时板块将作为一级目录,主题域需要从第二级开始创建为子目录,同一父目录下,子目录名称唯一。

      • 板块作为一级目录,添加到已有专题:选中此项后,还需选择专辑,可选项中包含已有资产类型下已创建的资产专题。创建时板块将作为一级目录,主题域需要从第二级开始创建为子目录,同一父目录下,子目录名称唯一。

    资产专题目录创建成功后,可单击成功提示中的去编辑,跳转至目录管理 > 目录规划中查看详情。新建的专题其名称为板块名称(板块作为一级目录时,专题名称为手动输入的名称)、描述为专题描述、专题管理员为当前用户、公开范围为全员公开并关闭发布审批。

  • 发布模型:单击发布模型,系统将自动按照此模型创建对应对象。若发布失败(包含全量失败或部分失败),已发布的对象将全量回滚。若发布成功,可单击去查看,跳转至数据架构页面查看相关信息。

  • 视图切换:单击视图切换开关,可将画布视图转换为列表视图。不同视图下数据板块、主题域、业务实体可执行的操作相同。列表视图包含数据板块、主题域和业务实体三个页签。

    • 数据板块:展示板块名称板块英文名是否已有对象描述。其中,对于非本次对话新建出的数据板块,是否已有对象展示为,反之则为

    • 主题域:展示主题域名称/编码数据板块上级主题域是否已有对象描述。其中,对于非本次对话新建出的主题域,是否已有对象展示为,反之则为

    • 业务实体:展示业务实体名称/编码实体类型主题域是否已有对象描述。其中,对于非本次对话新建出的业务实体,是否已有对象展示为,反之则为

各节点支持的操作

租户、数据板块、主题域和业务实体节点支持以下操作:

  • 租户节点:查看详情、添加数据板块。

  • 数据板块:查看详情、编辑、添加主题域、删除。

  • 主题域:查看详情、编辑、添加子域、添加实体、删除。

  • 业务实体:查看详情、编辑、查看实体关系、删除。

说明

当前租户下已存在的数据板块、主题域和业务实体,不支持编辑删除操作。

各操作详细说明请参见租户节点支持的操作数据板块节点支持的操作主题域节点支持的操作业务实体节点支持的操作

租户节点支持的操作

操作项

说明

查看详情

单击租户节点中的image图标,选择查看详情,可查看节点的类型名称编码描述。其中,节点类型租户

添加数据板块

添加新的数据板块在已有的模型中。

单击租户节点中的image图标,选择添加数据板块,在添加数据板块面板中,配置以下参数。

  • 板块名称:支持所有字符,长度不超过64个字符。

  • 板块英文名:固定以LD_为前缀,支持英文、数字和下划线(_),长度不超过61个字符。

  • 描述(非必填):支持所有字符,长度不超过1000个字符。

数据板块节点支持的操作

操作项

说明

查看详情

单击数据板块节点中的image图标,选择查看详情,可查看节点的类型名称编码描述。其中,节点类型数据板块

编辑

单击数据板块节点中的image图标,选择编辑,在编辑数据板块面板中,配置以下参数。

  • 板块名称:支持所有字符,长度不超过64个字符。

  • 板块英文名:固定以LD_为前缀,支持英文、数字和下划线(_),长度不超过61个字符。

  • 描述(非必填):支持所有字符,长度不超过1000个字符。

添加主题域

在当前或其他数据板块下添加主题域。

单击数据板块节点中的image图标,选择添加主题域,在添加主题域面板中,配置以下参数。

  • 主题域名称:支持所有字符,长度不超过64个字符。

  • 主题域编码:支持英文、数字和下划线(_),长度不超过64个字符。

  • 数据板块:默认为当前数据板块,若当前模型有多个数据板块,则可选择其他数据板块。若无符合需求的数据板块,可在租户节点下添加数据板块。

  • 上级主题域(非必选):可选择所选数据板块内其他主题域,为空时即代表一级主题域,直属于当前板块。

  • 描述(非必填):支持所有字符,长度不超过1000个字符。

删除

单击数据板块节点中的image图标,选择删除,在弹出的对话框中单击确定

说明

删除当前数据板块,将同步删除数据板块下包含的所有节点。

主题域节点支持的操作

操作项

说明

查看详情

单击主题域节点中的image图标,选择查看详情,可查看节点的类型名称编码描述。其中,节点类型主题域

编辑

单击主题域节点中的image图标,选择编辑主题域,在编辑主题域面板中,配置以下参数。

  • 主题域名称:支持所有字符,长度不超过64个字符。

  • 主题域编码:支持英文、数字和下划线(_),长度不超过64个字符。

  • 数据板块:默认为当前数据板块,若当前模型有多个数据板块,则可选择其他数据板块。若无符合需求的数据板块,可在租户节点下添加数据板块。

  • 上级主题域(非必选):可选项中包含当前数据板块中包含的所有主题域,为空时即代表一级主题域,直属于当前板块。若无符合需求的主题域,可在数据板块节点下添加主题域。

  • 描述(非必填):支持所有字符,长度不超过1000个字符。

添加子域

在当前主题域或其他主题域下添加子域。

单击主题域节点中的image图标,选择添加子域,在添加主题域面板中,配置参数。参数及其说明同编辑主题域。

添加实体

单击主题域节点中的image图标,选择添加实体,在添加业务实体面板中,配置以下参数。

  • 实体名称:支持所有字符,长度不超过64个字符。

  • 编码:支持英文、数字和下划线(_),长度不超过64个字符。

  • 实体类型:实体类型分为业务对象和业务活动,您可选择以下类型。

    • 业务对象普通对象层级对象枚举对象虚拟对象

    • 业务活动业务流程业务快照业务事件

  • 数据板块:可选项中包含当前模型中包含的所有数据板块,若无符合需求的数据板块,可在租户节点下添加数据板块。

  • 主题域:可选项中包含当前板块中所有的主题域,默认为当前主题域,若无符合需求的主题域,可在数据板块节点下添加主题域。

  • 描述(非必填):支持所有字符,长度不超过1000个字符。

  • 实体关系(非必选):仅当实体类型选择普通对象、业务流程、业务事件或业务快照时,支持配置实体关系。实体关系编辑完成后,可前往相关实体的实体关系面板中查看实体关系。

    • 当实体类型为普通对象时

      • 继承自实体:除本对象的子对象外,当前板块下的其他业务对象均可选择。

      • 关联实体:可选择一个或多个当前板块下的业务对象(本对象的子对象除外)。

    • 当实体类型为业务流程时

      • 关联实体:可选择一个或多个当前板块下的业务对象(本对象的子对象除外)。

      • 前序业务流程:可选择一个或多个当前板块下的其他业务流程。

      • 流程事件:可选择一个或多个当前板块下的所有业务事件。

    • 当实体类型为业务事件/业务快照时

      关联实体:可选择一个或多个当前板块下的业务对象(本对象的子对象除外)。

删除

单击主题域节点中的image图标,选择删除,在弹出的对话框中单击确定

说明

删除当前主题域,将同步删除主题域下包含的所有节点。

业务实体节点支持的操作

操作项

说明

查看详情

单击业务实体节点中的image图标,选择查看详情,可查看节点的类型名称编码描述。其中,节点类型包括普通/层级/枚举/虚拟对象业务事件业务流程业务快照

编辑

单击业务实体节点中的image图标,选择编辑,在编辑业务实体面板中,配置参数。参数及其说明同添加实体。

查看实体关系

单击业务实体节点中的image图标,选择查看实体关系,在实体关系面板中查看实体关系图。若当前实体关系不符合需求,可对相关实体的实体关系进行编辑。

删除

单击业务实体节点中的image图标,选择删除,在弹出的对话框中单击确定后,删除当前业务实体节点。

逻辑建模中支持的操作

  • 字段列表页面支持的操作image

    区块

    说明

    逻辑表基本信息

    基本信息中包含逻辑表中文名、逻辑表英文名、状态、表类型、数据板块、主题域和所属项目,其中表类型由业务实体类型决定。您可根据实际需求对逻辑表中文名和逻辑表英文名进行修改,逻辑表英文名的前缀和后缀,根据业务实体所属板块的研发规范 > 表命名规范生成。

    搜索与筛选、编辑来源表

    • 搜索与筛选:可在搜索框中输入字段名称关键字进行模糊搜索,同时支持单击image图标,在筛选对话框中根据数据类型字段类型进行筛选。

    • 编辑来源表:单击编辑来源表,在逻辑表来源表面板中可选择一个或多个来源表。您可输入表名关键词进行模糊搜索,同时支持根据逻辑表数据板块、项目和表类型进行筛选。此外可单击操作列中的image图标,查看对应逻辑表的字段列表。修改来源表后,系统将重新获取逻辑表的字段列表。

    字段列表

    字段列表中包含序号字段名称说明数据类型字段类型描述信息。

    • 字段名称:仅支持英文、数字和下划线(_),长度不超过128个字符。

    • 数据类型:支持stringbigintdoubletimestampdecimal文本数值日期时间其他数据类型。

    • 字段类型主键业务时间(流程开始时间、流程结束时间、事件时间、快照时间)、属性度量分区

    在字段列表中您还可以添加和删除字段,同时支持调整字段顺序。

    • 添加字段:单击添加字段,在字段列表中的最后一行添加一行空白字段,您可自行配置字段信息。

    • 删除字段:单击字段操作列后的image图标,删除对应字段。

      说明

      主键字段不可删除。

    • 调整字段顺序:可选中image图标,拖动对应字段,调整字段顺序。

    字段列表整体操作

    • 弃用:弃用并跳过创建当前逻辑表,已弃用的逻辑表不支持编辑。弃用操作不可撤销,请谨慎操作。

    • 重新生成字段列表:单击重新生字段列表,系统将重新生成所选业务实体的字段列表。

    • 下一步:确认字段列表信息后,单击下一步,系统将生成相关计算逻辑。

  • 计算逻辑页面支持的操作

    image

    区块

    说明

    计算逻辑SQL区域

    根据用户提供的表信息和来源表结构,生成对应的逻辑表SQL。

    • 重新生成:单击重新生成,系统将重新生成当前逻辑表的计算逻辑。您在左侧对话框中输入计算逻辑修改说明后,系统也将重新生成计算逻辑。

    • 开始校验:修改字段列表、计算逻辑(包括格式化操作)后,都需进行校验。校验失败时,您可查看错误日志,修改对应SQL,同时,您可单击智能修改,将当前计算逻辑SQL和错误信息发送至逻辑建模对话中,系统将重新生成计算逻辑,校验通过后才可提交。

    • 格式化:代码格式化,优化代码排版与可读性。

    • 参数示例:您可参考简单的参数示例,编辑或修改计算逻辑SQL。

    计算逻辑整体操作

    • 弃用:弃用并跳过创建当前逻辑表,已弃用的逻辑表不支持编辑。弃用操作不可撤销,请谨慎操作。

    • 上一步:单击上一步,返回至字段列表。若修改字段列表,则将重新生成计算逻辑。

    • 重新生成计算逻辑:单击重新生成计算逻辑,系统将重新生成当前逻辑表的计算逻辑。您在左侧对话框中输入计算逻辑修改说明后,系统也将重新生成计算逻辑。

    • 提交:提交前需先完成计算逻辑校验。单击提交后开始提交流程,提交成功后,您可在治理 > 治理清单中查看当前逻辑表详情。