MaxCompute表导入OSS

MaxCompute表导入OSS组件主要用于将MaxCompute表导入OSS。表中的每一行数据导出为一个合法的JSON对象,导出文件(JSONL格式,示例)由多行JSON对象组成,整个文件本身不是合法的JSON对象。数据量大时可能会被切分为多个文件。

支持的计算资源

MaxCompute

配置组件

Designer工作流页面添加MaxCompute表导入OSS组件,并在界面右侧配置相关参数:

参数类型

参数

是否必选

描述

默认值

字段设置

OSS存储目录

导出数据的OSS存储目录,导出数据可能会切分为多个文件。

执行调优

每个实例的cpu数目

设定map task每个instanceCPU数目,取值范围为[50,800]。

100

每个实例的memory大小,单位M

设定map task每个instancememory大小,单位为MB,取值范围为[256,12288]。

1024

每个实例处理的数据大小,单位M

设定map task每个instance的最大处理数据量,用户可以通过控制该变量,实现对map端输入的控制。单位为MB,取值范围为[1,Integer.MAX_VALUE]。

256