Task-开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心

名称	类型	描述	示例值
	object
sparkArgs	string	spark 参数	100
sparkDriverMemory	integer	spark driver 内存	1073741824
sparkVersion	string	spark 版本	esr-4.1.1
sparkExecutorMemory	integer	spark executor 内存	1073741824
sparkLogLevel	string	spark 日志级别	INFO
sparkEntrypoint	string	spark 主类入口
gmtModified	string	最后创建时间	2025-03-10T02:02:41.000+00:00
hasCommited	boolean	是否已提交
sparkLogPath	string	spark 日志	oss://your_bucket/path/to/your/log
creator	integer	创建者 uid	150978934701****
gmtCreated	string	创建时间	2025-03-10T02:02:41.000+00:00
name	string	task 名称	ods_transform_task
sparkDriverCores	integer	spark driver 核数	1
type	string	task 类型	SQL
sparkExecutorCores	integer	spark executor 核数	1
content	string	spark 作业内容
extraArtifactIds	array	spark 额外资源 id
	string
lastRunResourceQueueId	string	最后一次运行的资源队列 id
modifier	integer	最后一次更新者 uid	150978934701****
sparkConf	array	spark 配置列表
	SparkConf	Spark 配置项。
bizId	string	业务 id
categoryBizId	string	目录业务 id
artifactUrl	string	资源文件访问临时 url
defaultResourceQueueId	string	task 默认队列 id
tags	object	任务标签
	string		tag key
defaultDatabase	string	默认数据库	default
hasChanged	boolean	最后一次提交后是否变更
pyFiles	array	spark pyspark 依赖 pyfiles
	string
defaultCatalogId	string	默认 catalog id
defaultSqlComputeId	string	默认 sql session id
jars	array	--jars 参数
	string
archives	array	--archives 参数
	string
files	array	--files 参数
	string
extraSparkSubmitParams	string	自定义 spark submit 配置参数
deploymentId	string	streaming 任务部署 id
isStreaming	boolean	是否是 streaming 任务
sparkSubmitClause	string	spark submit 任务提交语句
fusion	boolean	是否开启 fusion 开关	false
timeout	integer	任务超时时间	1200
credential	object	直传 oss 信息
accessId	string	access id
securityToken	string	security token
policy	string	policy
signature	string	签名
path	string	路径
host	string	域名
expire	integer	过期时间
accessUrl	string	访问链接
environmentId	string	环境 id	env-cpv569tlhtgndjl8****
sessionClusterId	string	交互式作业会话 ID。	1234abcd-12ab-34cd-56ef-1234567890ab
kernelId	string
params	object
	string
rayEntrypoint	string
rayVersion	string	Ray 引擎版本。	err-1.3.0 (Ray 2.55.1, Python 3.12)
rayNetworkServiceName	string
rayRuntimeEnvJson	string
rayWorkingDir	string
rayMetadataJson	string
raySubmissionMode	string
rayEntrypointNumCpus	string
rayEntrypointNumGpus	string
rayEntrypointMemory	string
rayEntrypointResources	string
rayShutdownAfterJobFinishes	boolean
rayTtlSecondsAfterFinished	integer
rayActiveDeadlineSeconds	integer
rayBackoffLimit	integer
rayHeadSpec	object	Ray 集群 Head 节点参数。
replica	integer	Head 节点数量。	1
enableAutoScaling	boolean	是否开启 Worker 自动扩缩容。	false
idleTimeoutSeconds	integer	开启自动扩缩容后 Worker 的空闲超时时间，单位为秒。	60
queueName	string	队列名称。	root_queue
cpu	string	CPU 核数。	2
memory	string	内存，单位为 GiB。	8Gi
gpuSpec	string	GPU 机型。	ecs.gn6i-c4g1.xlarge
rayVersion	string	Ray 的引擎版本。	err-1.3.0 (Ray 2.55.1, Python 3.12)
env	string	Ray 节点的环境变量。	MY_ENV=123456
rayStartParams	string	Ray 的启动参数	--num-cpus=0
rayExtraParam	string
rayVolumeIds	array
	string
rayWorkerSpec	array	Ray 集群 Worker 节点参数列表，最多 50 组。
	object	Ray Worker 节点参数。
groupName	string	Worker 组名称。	WorkerGroup1
replica	integer	Worker 数量。	2
minReplica	integer	开启自动扩缩容后的最小 Worker 数量。	1
maxReplica	integer	开启自动扩缩容后的最大 Worker 数量。	10
queueName	string	队列名称。	root_queue
cpu	string	CPU 核数。	4
memory	string	内存，单位为 GiB。	16Gi
gpuSpec	string	GPU 机型。	ecs.gn6i-c4g1.xlarge
rayVersion	string	Ray 的引擎版本。	err-1.3.0 (Ray 2.55.1, Python 3.12)
env	string	Ray 的环境变量。	MY_ENV=123456
rayStartParams	string	Ray 的启动参数。	--num-cpus=0

object

sparkArgs

string

spark 参数

100

sparkDriverMemory

integer

spark driver 内存

1073741824

sparkVersion

string

spark 版本

esr-4.1.1

sparkExecutorMemory

integer

spark executor 内存

1073741824

sparkLogLevel

string

spark 日志级别

INFO

sparkEntrypoint

string

spark 主类入口

gmtModified

string

最后创建时间

2025-03-10T02:02:41.000+00:00

hasCommited

boolean

是否已提交

sparkLogPath

string

spark 日志

oss://your_bucket/path/to/your/log

creator

integer

创建者 uid

150978934701****

gmtCreated

string

创建时间

2025-03-10T02:02:41.000+00:00

name

string

task 名称

ods_transform_task

sparkDriverCores

integer

spark driver 核数

1

type

string

task 类型

SQL

sparkExecutorCores

integer

spark executor 核数

1

content

string

spark 作业内容

extraArtifactIds

array

spark 额外资源 id

string

lastRunResourceQueueId

string

最后一次运行的资源队列 id

modifier

integer

最后一次更新者 uid

150978934701****

sparkConf

array

spark 配置列表

SparkConf

Spark 配置项。

bizId

string

业务 id

categoryBizId

string

目录业务 id

artifactUrl

string

资源文件访问临时 url

defaultResourceQueueId

string

task 默认队列 id

archives

array

--archives 参数

string

files

array

--files 参数

string

extraSparkSubmitParams

string

自定义 spark submit 配置参数

deploymentId

string

streaming 任务部署 id

isStreaming

boolean

是否是 streaming 任务

sparkSubmitClause

string

spark submit 任务提交语句

fusion

boolean

是否开启 fusion 开关

false

timeout

integer

任务超时时间

1200

credential

object

直传 oss 信息

accessId

string

access id

securityToken

string

security token

policy

string

policy

signature

string

签名

path

string

路径

host

string

域名

expire

integer

过期时间

accessUrl

string

访问链接

environmentId

string

环境 id

env-cpv569tlhtgndjl8****

sessionClusterId

string

交互式作业会话 ID。

1234abcd-12ab-34cd-56ef-1234567890ab

kernelId

string

params

object

string

rayEntrypoint

string

rayVersion

string

Ray 引擎版本。

err-1.3.0 (Ray 2.55.1, Python 3.12)

rayNetworkServiceName

string

rayRuntimeEnvJson

string

rayWorkingDir

string

rayMetadataJson

string

raySubmissionMode

string

rayEntrypointNumCpus

string

rayEntrypointNumGpus

string

rayEntrypointMemory

string

rayEntrypointResources

string

rayShutdownAfterJobFinishes

boolean

rayTtlSecondsAfterFinished

integer

rayActiveDeadlineSeconds

integer

rayBackoffLimit

integer

rayHeadSpec

object

Ray 集群 Head 节点参数。

replica

integer

Head 节点数量。

1

enableAutoScaling

boolean

是否开启 Worker 自动扩缩容。

false

idleTimeoutSeconds

integer

开启自动扩缩容后 Worker 的空闲超时时间，单位为秒。

60

queueName

string

队列名称。

root_queue

cpu

string

CPU 核数。

2

memory

string

内存，单位为 GiB。

8Gi

gpuSpec

string

GPU 机型。

ecs.gn6i-c4g1.xlarge

rayVersion

string

Ray 的引擎版本。

err-1.3.0 (Ray 2.55.1, Python 3.12)

env

string

Ray 节点的环境变量。

MY_ENV=123456

rayStartParams

string

Ray 的启动参数

--num-cpus=0

rayExtraParam

string

rayVolumeIds

array

string

rayWorkerSpec

array

Ray 集群 Worker 节点参数列表，最多 50 组。

object

Ray Worker 节点参数。

groupName

string

Worker 组名称。

WorkerGroup1

replica

integer

Worker 数量。

2

minReplica

integer

开启自动扩缩容后的最小 Worker 数量。

1

maxReplica

integer

开启自动扩缩容后的最大 Worker 数量。

10

queueName

string

队列名称。

root_queue

cpu

string

CPU 核数。

4

memory

string

内存，单位为 GiB。

16Gi

gpuSpec

string

GPU 机型。

ecs.gn6i-c4g1.xlarge

rayVersion

string

Ray 的引擎版本。

err-1.3.0 (Ray 2.55.1, Python 3.12)

env

string

Ray 的环境变量。

MY_ENV=123456

rayStartParams

string

Ray 的启动参数。

--num-cpus=0