API概览

本文为您介绍阿里云E-MapReduce提供的集群、集群服务、弹性伸缩等的API接口及说明。

集群

API

描述

创建集群

调用CreateClusterV2接口,创建一个E-MapReduce集群。

说明

如果您在2022年12月19日17点(UTC+8)以后第一次创建EMR集群,无法使用该接口创建集群,请使用CreateCluster - 创建集群

修改集群名称

调用ModifyClusterName接口,修改集群名称。

查询集群基本信息

调用DescribeClusterV2接口,查询集群的基本信息,包括:付费、ECS机器概况和E-MapReduce服务列表等。

释放集群

调用ReleaseCluster接口,释放集群所有节点。

集群扩容

调用ResizeClusterV2接口,根据配置扩容集群。

查询集群列表

调用ListClusters接口,分页查询集群列表。

创建集群模板

调用CreateClusterTemplate接口,创建一个E-MapReduce集群模板,可用于数据开发初始化新集群。

通过模版创建集群

调用CreateClusterWithTemplate接口,通过集群模版创建集群。

删除集群模版

调用DeleteClusterTemplate接口,删除集群模版。

查询集群模版详情

调用DescribeClusterTemplate接口,查询集群模版详情。

查询集群主机列表

调用ListClusterHost接口,查询集群主机列表,包括磁盘和CPU内存配置。

查询服务的快捷链接

调用ListClusterServiceQuickLink接口,查询集群快捷链接列表。

查询集群模版列表

调用ListClusterTemplates接口,查询集群模版列表。

查询可用集群信息列表

调用ListEmrAvailableConfig接口,查询可用集群信息列表。

查询可用资源

调用ListEmrAvailableResource接口,查询可用资源列表。

查看EMR版本信息

调用ListEmrMainVersion接口,查询E-MapReduce版本列表。

修改集群模版

调用ModifyClusterTemplate接口,修改集群模版。

查询集群信息

调用DescribeClusterBasicInfo接口,查询已创建的集群实例。

查询集群机器组列表

调用ListClusterHostGroup接口,查询集群机器组列表。

创建并绑定标签

调用TagResources接口,为指定的EMR集群列表统一创建并绑定标签。

查询标签列表

调用ListTagResources接口,查询一个或多个EMR集群已经绑定的标签列表。

解绑标签

调用UntagResources接口,为指定的ECS资源列表统一解绑标签。解绑后,如果该标签没有绑定其他任何资源,会被自动删除。

加入资源组

调用JoinResourceGroup接口,将一个EMR相关资源加入一个资源组。

集群缩容

调用ReleaseClusterHostGroup接口,进行EMR集群节点缩容。

集群服务

API

描述

添加服务

调用AddClusterService接口,为指定的集群添加当前集群的主版本支持的某项服务。

查看集群操作日志

调用DescribeClusterOperationHostTaskLog接口,获取集群操作历史中,指定主机上的指定task的执行日志详情。

查询服务信息

调用DescribeClusterService接口,查询集群当前安装服务的详情信息。

查询服务配置详情

调用DescribeClusterServiceConfig接口,查询集群服务的配置详情。

查询集群服务配置标签

调用DescribeClusterServiceConfigTag接口,查询集群服务的配置标签。

查询组件列表

调用ListClusterHostComponent接口,获取集群各个主机上安装的组件列表。

查询集群的操作历史列表

调用ListClusterOperation接口,查询集群的操作历史列表。

查看指定主机的任务列表

调用ListClusterOperationTask接口,查询指定的操作历史中主机对应的任务列表信息。

查询操作历史的主机列表

调用ListClusterOperationHost接口,查询操作历史的操作机器列表。

查询指定主机的任务列表

调用ListClusterOperationHostTask接口,查询指定的操作历史中主机对应的任务列表信息。

查询集群已安装服务列表

调用ListClusterInstalledService接口,查询集群当前已安装的服务列表信息。

查询集群的服务列表

调用ListClusterService接口,查询集群的服务列表信息。

查看集群支持的服务列表

调用ListClusterSupportService接口,查看集群支持的服务列表。

查看健康信息列表

调用ListClusterServiceComponentHealthInfo接口,获取集群指定服务对应的组件健康信息列表。

查询服务配置的修改历史

调用ListClusterServiceConfigHistory接口,查询服务配置的修改历史。

修改集群指定服务的配置信息

调用ModifyClusterServiceConfig接口,修改集群指定服务的配置信息。

运行指定操作

调用RunClusterServiceAction接口,对集群的指定服务,运行指定的操作。

资源管理

API

描述

创建资源池

调用CreateResourcePool接口,创建YARN资源池。

创建资源队列

调用CreateResourceQueue接口,创建资源队列。

删除指定资源池

调用DeleteResourcePool接口,删除指定资源池。

删除资源队列

调用DeleteResourceQueue接口,删除资源队列。

查看资源池策略类型

调用DescribeClusterResourcePoolSchedulerType接口,查看资源池策略类型。

查询资源池列表

调用ListResourcePool接口,查询资源池列表。

更新资源池

调用ModifyResourcePool接口,更新资源池。

修改资源池调度类型

调用ModifyResourcePoolSchedulerType接口,修改资源池调度类型。

修改资源队列

调用ModifyResourceQueue接口,修改资源队列。

同步资源池并配置到集群

调用RefreshClusterResourcePool接口,同步资源池配置到集群。

标签

API

描述

创建并绑定标签

调用TagResources接口,为指定的EMR集群列表统一创建并绑定标签。

查询标签列表

调用ListTagResources接口,查询一个或多个EMR集群已经绑定的标签列表。

解绑标签

调用UntagResources接口,为指定的EMR集群列统一解绑标签。

弹性伸缩

API

描述

创建伸缩组

调用CreateScalingGroupV2接口,创建伸缩组。

新建弹性伸缩配置项

调用AddScalingConfigItemV2接口,新建弹性伸缩配置项。

修改伸缩组

调用ModifyScalingGroupV2接口,修改伸缩组基础信息。

查看伸缩组

调用ListScalingGroupV2接口,查看伸缩组列表。

查看伸缩配置项

调用ListScalingConfigItemV2接口,查看伸缩配置项列表。

查看伸缩活动

调用ListScalingActivityV2接口,查看伸缩活动列表。

查询伸缩配置项详情

调用DescribeScalingConfigItemV2接口,获取伸缩配置项详情。

查看伸缩组实例详情

调用DescribeScalingGroupInstanceV2接口,获取一个正在运行中的伸缩组实例详情。

查询伸缩组详情

调用DescribeScalingGroupV2接口,获取伸缩组详情。

操作伸缩组实例

调用RunScalingActionV2接口,操作伸缩组实例。

删除弹性伸缩配置项

调用RemoveScalingConfigItemV2接口,删除伸缩配置项。

数据开发

API

描述

克隆工作流

调用CloneFlow接口,克隆工作流。

克隆作业

调用CloneFlowJob接口,克隆作业。

创建工作流目录文件夹

调用CreateFlowCategory接口,创建工作流目录文件夹。

创建工作流

调用CreateFlowForWeb接口,创建自定义图形工作流。

创建作业

调用CreateFlowJob接口,创建数据开发作业。

创建数据开发项目

调用CreateFlowProject接口,创建数据开发项目。

创建项目集群设置

调用CreateFlowProjectClusterSetting接口,创建项目集群设置。

添加项目用户

调用CreateFlowProjectUser接口,添加项目用户。

删除工作流

调用DeleteFlow接口,删除工作流

删除工作流目录

调用DeleteFlowCategory接口,删除工作流目录。

删除作业

调用DeleteFlowJob接口,删除作业。

删除数据开发项目

调用DeleteFlowProject接口,删除数据开发项目。

删除项目集群设置

调用DeleteFlowProjectClusterSetting接口,删除项目集群设置。

删除项目用户

调用DeleteFlowProjectUser接口,删除项目用户。

查询工作流信息

调用DescribeFlow接口,查询工作流信息。

查询目录信息

调用DescribeFlowCategory接口,查询目录详细信息。

获取目录树

调用DescribeFlowCategoryTree接口,获取目录树。

获取工作流实例信息

调用DescribeFlowInstance接口,获取工作流实例信息。

查询作业信息

调用DescribeFlowJob接口,查询作业信息。

查询节点实例详情

调用DescribeFlowNodeInstance接口,查询节点实例详情(工作流节点实例, 作业运行节点实例)。

查询节点实例容器日志

调用DescribeFlowNodeInstanceContainerLog接口,查询节点实例容器日志。

查询节点实例启动器日志

调用DescribeFlowNodeInstanceLauncherLog接口,查询节点实例启动器日志。

查询项目详情

调用DescribeFlowProject接口,查询项目详情。

查询项目设置详情

调用DescribeFlowProjectClusterSetting接口,查询项目集群设置详情。

停止作业实例

调用KillFlowJob接口,停止作业实例。

查询工作流列表

调用ListFlow接口,查询工作流列表。

查询项目中可用的集群列表

调用ListFlowCluster接口,查询项目中可用的集群列表。

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口,查询数据开发可用的集群列表。

获取提交代理节点列表

调用ListFlowClusterAllHosts接口,查询给定集群可在项目设置中设置到白名单中的主机列表,目前支持Master和Gateway节点。

查询工作流实例列表

调用ListFlowInstance接口,查询工作流实例列表。

查询作业列表

调用ListFlowJob接口,查询作业列表。

查询作业运行实例列表

调用ListFlowJobHistory接口,查询作业的运行实例列表。

查询工作流节点实例列表

调用ListFlowNodeInstance接口,查询工作流节点实例列表。

查询节点实例的容器状态详情

调用ListFlowNodeInstanceContainerStatus接口,查询节点实例的容器状态详情。

查询节点实例SQL结果

调用ListFlowNodeSqlResult接口,查询节点实例SQL结果。

查询项目列表

调用ListFlowProject接口,查询项目列表。

查询项目集群设置列表

调用ListFlowProjectClusterSetting接口,查询项目集群设置列表。

查询项目用户信息

调用ListFlowProjectUser接口,查询项目用户列表。

修改工作流

调用ModifyFlow接口,修改工作流。

查询工作流目录

调用ListFlowCategory接口,展示工作流目录。

修改项目集群设置

调用ModifyFlowProjectClusterSetting接口,修改项目集群设置。

重命名目录

调用ModifyFlowCategory接口,重命名目录。

修改图形信息的工作流

调用ModifyFlowForWeb接口,修改带有图形信息的工作流。

修改作业

调用ModifyFlowJob接口,修改数据开发作业。

重试工作流

调用RerunFlow接口,重跑工作流实例,要求工作流实例已经结束。

恢复工作流

调用ResumeFlow接口,恢复暂停的工作流。

提交运行工作流

调用SubmitFlow接口,提交运行工作流。

提交运行作业

调用SubmitFlowJob接口,提交运行作业,每次只允许存在一个正在运行的实例。

暂停工作流

调用SuspendFlow接口,暂停工作流。

修改数据开发项目

调用ModifyFlowProject接口,修改数据开发项目。

查询可提交作业的客户端列表

调用ListFlowClusterHost接口,查询集群可提交作业的客户端列表。