创建E-MapReduce集群后,您可以在数据开发中创建项目,并在项目中进行作业的编辑和工作流的调度。新建项目之后,您可以对项目进行管理,为项目关联集群资源、添加项目成员以及设置全局变量。
前提条件
已创建集群,详情请参见创建集群。
使用限制
只有阿里云账号才能创建项目、添加项目成员和添加集群资源,即控制台上新建项目、用户管理和集群设置功能只对阿里云账号管理员可见,RAM用户不可见。
新建项目
-
进入数据开发的项目列表页面。
-
通过阿里云账号登录阿里云E-MapReduce控制台。
-
在顶部菜单栏处,根据实际情况选择地域和资源组。
-
单击上方的数据开发页签。
阿里云账号可以查看该账号下的所有项目列表,RAM用户仅可以查看具有开发权限的项目列表。如需为RAM用户添加项目开发权限,则需要阿里云账号来配置,详情请参见用户管理。
-
-
在项目列表页面,单击右上角的新建项目。
-
在新建项目对话框中,输入项目名称和项目描述,从资源组选择列表中,选择已有的资源组。
说明如果不指定资源组,项目会加入默认的资源组,资源组使用详情请参见使用资源组。
-
单击创建。
在项目列表页面,可查看或者操作新增的项目。
查看项目基本信息
-
进入数据开发的项目列表页面。
-
通过阿里云账号登录阿里云E-MapReduce控制台。
-
在顶部菜单栏处,根据实际情况选择地域和资源组。
-
单击上方的数据开发页签。
-
-
进入目标项目的项目管理页面。
-
在项目列表页面,单击目标项目的项目ID。
-
单击上方的项目管理页签。
-
-
查看项目基本信息。
在基本信息页面,可以查看该项目的项目名称、创建时间、Created User和项目描述信息。
通用配置
通用配置中的安全模式适用于需要对E-MapReduce数据开发运行的作业进行权限管理的场景。
开启安全模式后,需要在运行集群的用户管理中添加提交作业的EMR用户,详情请参见管理用户。在开启安全模式的项目中提交作业时,阿里云账号以默认hadoop用户执行,RAM用户则默认以当前RAM用户同名的EMR用户执行作业。
-
进入数据开发的项目列表页面。
-
通过阿里云账号登录阿里云E-MapReduce控制台。
-
在顶部菜单栏处,根据实际情况选择地域和资源组。
-
单击上方的数据开发页签。
-
-
进入目标项目的项目管理页面。
-
在项目列表页面,单击目标项目的项目ID。
-
单击上方的项目管理页签。
-
-
配置安全模式。
-
单击左侧菜单通用配置。
-
根据作业情况,选择开启或者关闭安全模式。
重要开启安全模式后,Shell和Hive类型的作业无法运行。
-
用户管理
您可以通过以下步骤为RAM用户添加或删除某个项目的开发权限。
-
进入数据开发的项目列表页面。
-
通过阿里云账号登录阿里云E-MapReduce控制台。
-
在顶部菜单栏处,根据实际情况选择地域和资源组。
-
单击上方的数据开发页签。
-
-
进入目标项目的项目管理页面。
-
在项目列表页面,单击目标项目的项目ID。
-
单击上方的项目管理页签。
-
-
在左侧导航栏中,单击用户管理。
-
在用户管理页面,根据业务诉求添加用户或者删除用户。
-
添加用户。
-
单击右上角的添加用户。
-
在添加用户对话框中,选择需要添加的RAM用户,然后单击添加。
用户添加成功后,就可以在用户管理页面查看新增的用户信息。
说明被添加的RAM用户将成为该项目的成员,拥有查看、开发该项目下的作业和工作流的权限。
-
-
删除用户。
在用户管理页面,单击待删除用户所在行的删除。
-
集群设置
通过以下步骤,可以为项目设置集群资源,使该项目中的作业运行在关联的集群上。
-
进入数据开发的项目列表页面。
-
通过阿里云账号登录阿里云E-MapReduce控制台。
-
在顶部菜单栏处,根据实际情况选择地域和资源组。
-
单击上方的数据开发页签。
-
-
进入目标项目的项目管理页面。
-
在项目列表页面,单击目标项目的项目ID。
-
单击上方的项目管理页签。
-
-
在左侧导航栏中,单击集群设置。
-
在集群设置页面,可以进行如下操作:
-
添加集群。
-
单击右上角的添加集群
-
在添加集群对话框中,选择资源组和集群信息。
从选择集群下拉列表中选择已购买的包年包月或按量付费的集群(不包括通过集群模板创建的集群)。
-
单击确定。
在集群设置页面,可以查看新增的集群信息。
-
-
修改集群配置。
-
单击目标集群所在行的修改配置。
-
在修改配置对话框中,设置提交作业到该集群的队列、用户信息和客户端白名单。
配置项
描述
提交作业默认用户
设置项目使用所选集群提交作业时的默认用户,默认值是hadoop,默认用户只能有一个。
提交作业默认队列
设置项目使用所选集群提交作业时的默认队列,默认作业提交到default队列。
提交作业用户白名单
设置可以提交作业的用户,如果有多个用户,可以通过英文半角逗号(,)分隔。
提交作业队列白名单
设置项目中的作业可以运行在所选集群的队列,如果有多个队列,可以通过英文半角逗号(,)分隔。
客户端白名单
配置可以提交作业的客户端,您可以使用Master节点或Gateway节点。通过ECS自建的Gateway暂不支持在此处配置。
-
单击确定。
-
-
取消关联的集群资源。
在集群设置页面,单击目标集群所在行的删除,取消关联的集群资源。
-
变量定义
您可以通过以下步骤设置项目级别的自定义变量,这些变量可以被本项目中的作业项目作为全局变量调用。
-
进入数据开发的项目列表页面。
-
通过阿里云账号登录阿里云E-MapReduce控制台。
-
在顶部菜单栏处,根据实际情况选择地域和资源组。
-
单击上方的数据开发页签。
-
-
进入目标项目的项目管理页面。
-
在项目列表页面,单击目标项目的项目ID。
-
单击上方的项目管理页签。
-
-
在左侧导航栏中,单击变量定义。
-
在变量定义页面,可以根据业务诉求添加自定义变量或者删除自定义变量。
-
添加自定义变量。
-
单击右上角的添加。
-
在添加自定义变量对话框中,添加变量名称和变量值,根据需要选择是否为变量名的变量值加密。
作业中以
${VariableName}的形式调用变量。例如,您添加变量名为ENV_ABC,变量值为12345,不开启是否为密码。Shell类型作业内容示例如下。echo ${ENV_ABC}返回结果如下。
12345这里环境变量的设置相当于执行了如下的脚本。
export ENV_ABC=12345 -
单击确认。
在变量定义页面,可查看新增的变量信息。
-
-
删除自定义变量。
单击目标变量所在行的删除,就可以删除对应的变量。
-