文档

数据上传

更新时间:

DataWorks的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。

使用限制

  • 目前仅支持基于本地文件阿里云对象存储OSS上传CSV格式文件的数据。

  • 目前仅支持将数据上传至MaxCompute引擎。

  • 基于本地文件,最大支持上传5GB数据。

  • 基于阿里云对象存储OSS,仅支持上传与当前DataWorks同地域Bucket中的数据。

前提条件

  • 已创建MaxCompute数据源。用于存放上传的数据,并进行后续的数据分析、管理操作。创建数据源,详情请参见创建MaxCompute数据源

  • 基于阿里云对象存储OSS上传时,需满足以下前提条件:

    • 已开通OSS并创建Bucket,将待上传文件存储至OSS Bucket中。基于OSS上传,需选择指定Bucket中的文件。因此,上传数据前需先创建Bucket并存储相关文件,详情请参见创建存储空间上传文件

    • 已为操作数据上传的阿里云账号授予可访问目标Bucket的权限。为避免权限限制,上传数据前需提前为相关操作账号进行授权,详情请参见访问控制概述

进入数据上传

  1. 进入数据开发页面。

    登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 单击左上角的image.png图标,选择全部产品 > 数据集成 > 上传与下载

  3. 上传与下载页面单击左侧导航栏的上传image.png图标),进入数据上传页面。

  4. 单击数据上传,根据界面指引上传目标数据。

上传目标数据

  1. 选择待上传数据。

    DataWorks支持基于本地文件阿里云对象存储OSS上传CSV文件数据,您可根据界面指引,选择合适方式添加目标文件。

    • 本地文件

      • 仅支持上传一个CSV文件,且文件里的内容使用逗号(,)分隔。

      • 默认仅上传CSV文件首个Sheet的数据,如有多个Sheet,则其他Sheet的数据将被忽略。

      • 最大支持上传5GB数据。

    • 阿里云对象存储 OSS:仅支持选择当前地域下Bucket中的CSV文件。若无可访问的Bucket,可参考创建存储空间新建。

  2. 配置存放待上传数据的目标表。

    您可选择将待上传数据存放至已有表,也可根据需要新建表。image.png

    参数说明如下。

    参数

    描述

    目标引擎

    目前仅支持将数据上传至MaxCompute引擎。

    MaxCompute项目名称

    存放待上传数据的MaxCompute项目。

    目标表(上传数据至已有表)

    • 选择目标表:选择存放待上传数据的MaxCompute表。支持通过关键字匹配搜索。

    • 选择上传方式:即根据配置的目标表映射关系,将待上传数据以哪种方式添加至目标表中。

      • 覆盖:直接覆盖目标表中相应映射字段的数据。

      • 追加:将待上传数据追加至目标表相应映射字段中。

      配置映射关系,详情请参见下文步骤3。

    目标表(上传数据至新建表)

    • 表名:自定义表名称。

    • 表类型:根据需要选择非分区表或分区表。若选择分区表,则需指定分区字段及其取值。

    • 生命周期:指定表的可用周期,过期后该表可能无法使用。更多表生命周期的介绍,详情请参见生命周期生命周期操作

  3. 预览待上传数据并设置目标表字段。

    选择待上传数据及存放该数据的目标表后,您可预览数据详情,并配置数据所在文件的列与目标表字段的映射关系,配置后相关数据才可被成功上传。

    说明

    目前仅支持预览前20条数据。

    image.png参数说明如下。

    参数

    描述

    预览数据并设置目标表字段(上传数据至已有表)

    需配置数据所在文件的列与目标表字段的映射关系,配置后相关数据才可被成功上传。映射方式包括按列名映射及按顺序映射。映射后您也可自定义目标表的字段名称。

    说明
    • 若待上传数据与目标表字段不存在映射关系,则该数据将会被置灰,且不会被上传。

    • 待上传数据与目标表字段不能存在重复映射关系。

    • 字段名称和字段类型不能为空,否则数据无法上传。

    预览数据并设置目标表字段(上传数据至新建表)

    可通过智能字段生成自动填充字段信息,也可手动修改字段信息。

    说明

    字段名称和字段类型不能为空,否则数据无法上传。

    文件编码

    若数据存在乱码,则可切换可用编码。支持选择UTF-8、GB18030、Big5。

    忽略首行

    是否将CSV文件数据的首行(通常为列名称)上传至目标表中。

    • 勾选:文件首行不上传至目标表中。

    • 不勾选:文件首行将上传至目标表中。

  4. 单击数据上传,开始上传数据。

后续操作

数据上传成功后,您可根据需要执行如下操作:

  • 数据查询:使用数据分析功能查询与分析数据,详情请参见SQL查询

  • 查看上传数据详情:在数据上传页面,单击目标表名称,即可进入数据地图查看目标表详细信息。详情请参见MaxCompute表数据

  • 本页导读 (1)
文档反馈