批量导入

更新时间:
复制 MD 格式

DataWorks智能数据建模的导入工具,为您提供了数据模型、数据标准等多种类型的对象模板,您可基于不同模板批量创建相应对象。该功能无需多次重复执行创建操作,即可快速生成多个对象,节省大量时间成本。本文为您介绍如何通过批量导入功能创建智能数据建模的对象。

使用限制

批量导入仅支持导入.xlsx格式文件,每次最多可导入30000条数据,并且文件大小不超过10MB。

进入导入页面

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 数据建模,在下拉框中选择对应工作空间后单击进入数据建模

  2. 智能数据建模页面的顶部菜单栏,单击通用工具,进入导入页面。

    在该页面,您可新建导入任务,也可对已创建的导入任务进行相关管理操作。详情请参见创建导入任务管理导入任务

创建导入任务

说明

不同类型的导入任务对应的界面存在差异,本文以创建数据域导入任务为例为您介绍导入功能,具体使用时请以实际界面为准。

  1. 导入列表单击创建导入任务

  2. 确定导入类型并下载模板。

    确定导入类型页签,选择待导入类型并下载相应模板,根据业务需求填写模板信息。

    说明

    选择导入类型后,您可先预览相应的模板信息,准备相关字段内容。

    导入类型包括数仓规划(数据域、业务过程)、数据标准(字段标准、标准代码、度量单位、命名词典)、维度建模数据指标(原子指标、修饰词、时间周期)。以数据域为例,模版包含英文缩写、英文名称、中文名称、描述和负责人账号ID等字段,按模版格式填写数据后单击下一步进入数据导入步骤。

  3. 导入并确认数据信息。

    数据导入页签上传并预览数据文件。您可选择仅预览DataWorks中已存在的同名字段,根据需要进行同名字段的删除、修改等处理。

    说明
    • 导入模式导入状态根据所选导入类型确定。导入数据对话框包含文件上传区域、导出方式与导入状态下拉选项及确认按钮。

      • 导入模式:当DataWorks中已存在导入文件的同名对象,则导入时可选择跳过该对象,或使用此次导入的文件内容覆盖该对象。

      • 导入状态

        • 导入并保存:仅导入并保存数据,不生成新的版本

        • 导入并提交:导入数据,并将最新导入的数据提交一个新的版本

    • 批量导入仅支持导入.xlsx格式文件,每次最多可导入30000条数据,并且文件大小不超过10MB。

  4. 查看导入结果。

    完成页签,您可查看导入结果详情。单击详情列表数据域后的更多详情,即可跳转至该数据域的编辑界面,执行更多数据域相关操作。当导入状态为失败时,您需根据报错详情处理异常并重新导入。导入完成后,页面显示导入结果统计信息,包括导入成功数、导入失败数、导入结束时间及上传文件名称。导入结果详情表格列出每条记录的中文名称、英文名称、英文缩写、所属路径和导入状态,可单击更多详情查看详细信息,也可单击继续导入发起新的导入任务。

管理导入任务

在导入页面,您可查看所有已创建的导入任务概况及详细内容。

区域

描述

筛选栏

在该区域,您可根据创建任务的日期、类型及创建人进行筛选,查看符合要求的导入任务。

任务列表

在该区域,您可查看导入任务的状态、成功导入的数据量、本次导入任务导入的数据总量等信息,单击查看详情即可查看目标任务的详细内容。重点关注:

  • 导入状态

    • 成功:表示该任务中所有对象均导入成功。

    • 失败:表示该任务中所有对象均导入失败。

    • 部分成功:表示该任务中部分对象导入失败。

    您需根据失败详情快速定位并处理异常。

  • 成功导入数据量总数据量不一致时,可能原因如下:

    • 该任务中存在运行失败的对象。

    • 该任务中包含DataWorks中已存在的同名对象。

    请根据实际情况进行排查处理。

后续步骤

导入任务创建完成后,您可进入相应任务的编辑页面进行后续的开发使用。