AI 助理
备案控制台
文档
输入文档关键字查找
首页 开源大数据平台 E-MapReduce EMR on ECS 操作指南 集群管理 集群运维 登录集群

登录集群

更新时间：
产品详情
我的收藏

您可以通过SSH方式（SSH密钥对或SSH密码方式）或者直接连接ECS实例的方式登录到集群节点，对集群进行管理或者交互操作。

前提条件

获取节点公网IP和节点名称

在登录集群节点时，如果需要获取节点公网IP或节点名称，您可以通过以下步骤获取。

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台。

    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。

    3. 单击目标集群操作列的节点管理。

  2. 在节点管理页面，单击节点组所在行的image图标，然后获取公网IP和节点名称。

    image

登录集群Master节点

SSH密钥方式

创建密钥对后，私钥会自动下载保存为.pem格式的私钥文件。

您可以根据本地使用的操作系统选择对应的操作步骤。

Linux操作系统

下面以私钥文件ecs.pem为例介绍登录集群Master节点的步骤。

  1. 执行以下命令，修改私钥文件的属性。 

    chmod 400 ~/.ssh/ecs.pem

    ~/.ssh/ecs.pem为ecs.pem私钥文件在本地服务器上的存储路径。

  2. 执行以下命令，连接Master节点。 

    ssh -i ~/.ssh/ecs.pem emr-user@<Master节点公网IP地址>
    如需获取Master节点的公网IP地址，请参见获取节点公网IP和节点名称。

Windows操作系统

在Windows操作系统中，您可以通过命令提示符或者通过PuTTY登录集群Master节点。

通过命令提示符登录Master节点

打开CMD，输入以下命令登录集群Master节点。

ssh -i <.pem私钥文件在本地机上的存储路径> emr-user@<Master节点公网IP地址>
如需获取Master节点的公网IP地址，请参见获取节点公网IP和节点名称。

通过PuTTY登录Master节点

  1. 下载PuTTY和PuTTYgen。

  2. 通过PuTTYgen将.pem私钥文件转换为.ppk私钥文件。

    1. 运行PuTTYgen。本示例中PuTTYgen版本为0.82。

    2. 在Actions区域，单击Load，导入创建集群时保存的私钥文件。

      导入时注意确保导入的格式要求为All files (*.*)。

    3. 选择待转换的.pem私钥文件，单击打开。

    4. 单击Save private key。

    5. 在弹出的对话框中，单击是，指定.ppk私钥文件的名称，然后单击保存。

      保存转化后的私钥到本地。例如：kp-123.ppk。

  3. 通过PuTTY登录集群Master节点。

    1. 运行PuTTY。

    2. 选择Connection > SSH > Auth > Credentials to authenticate with，在配置项Private key file for authentication中，单击Browse，选择转化后的密钥文件。

      image

    3. 单击Session，在Host Name (or IP address)下的输入框中，输入登录账号和Master节点公网IP地址。

      格式为emr-user@<Master节点公网IP地址>，例如emr-user@10.10.**.**。如需获取Master节点的公网IP地址，请参见获取节点公网IP和节点名称。

      image

    4. 单击Open，然后在弹出框中选择Accept即可成功登录集群Master节点。

SSH密码方式

说明

以下步骤中涉及的用户名、密码分别是root用户和创建集群时设置的密码。

您可以根据本地使用的操作系统选择对应的操作步骤。

Linux操作系统

您可以在本地终端的命令行中运行如下命令连接Master节点。

ssh root@<Master节点公网IP地址>
如需获取Master节点的公网IP地址，请参见获取节点公网IP和节点名称。

Windows操作系统

  1. 下载并安装PuTTY。下载链接为PuTTY。

  2. 启动PuTTY。

  3. 配置连接集群所需的信息。

    • Host Name (or IP address)：输入实例的固定公网IP或EIP。如需获取Master节点的公网IP地址，请参见获取节点公网IP和节点名称。

    • Port：输入22。

    • Connection Type：选择SSH。

    • （可选）Saved Sessions：输入一个便于识别的名称，然后单击Save即可保存会话，下次登录时无需输入公网IP等信息。

  4. 单击Open。

  5. 输入用户名（默认为root）和密码后就可以成功登录集群。

直接连接ECS实例

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台。

    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。

    3. 单击目标集群操作列的节点管理。

  2. 在节点管理页面，单击目标节点名称下的ECS ID，即可进入ECS控制台。

  3. 在实例页面，单击实例ID旁边的远程连接连接节点ECS实例。

    您也可以选择合适的工具连接节点ECS实例，详情请参见ECS远程连接方式概述。

    说明

    如果您通过Workbench连接实例时出现权限问题，请参见使用Workbench连接ECS实例时出现没有权限的问题，怎么处理？。

登录集群其他节点

免密登录其他节点

您可以通过以下步骤登录Core节点或Task节点。

  1. 登录集群Master节点，详情请参见登录集群Master节点。

  2. 在Master节点上切换到emr-user账号。

    su emr-user

  3. 免密码登录到对应的Core节点或Task节点。

    ssh <Core节点或Task节点的节点名称>
    如需获取Core节点或Task节点的节点名称，请参见获取节点公网IP和节点名称。节点名称示例如core-1-1、task-1-1。

直接连接ECS实例

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台。

    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。

    3. 单击目标集群操作列的节点管理。

  2. 在节点管理页面，单击目标节点名称下的ECS ID，即可进入ECS控制台。

  3. 在实例页面，单击重置实例密码，详情请参见重置实例登录密码。

    重要

    默认情况下，Core和Task类型节点未设置ECS登录密码。如果需要使用密码登录，请在ECS控制台中修改实例登录密码。

  4. 重置密码后，请选择合适的工具连接节点ECS实例，详情请参见ECS远程连接方式概述。

    说明

    如果您通过Workbench连接实例时出现权限问题，请参见使用Workbench连接ECS实例时出现没有权限的问题，怎么处理？。

常见问题

集群创建成功后，如何挂载公网，或者如何配置公网IP？

集群创建成功后，您可以通过以下步骤配置公网IP。

  1. 进入节点管理页面。

    1. 登录E-MapReduce控制台。

    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。

    3. 单击目标集群操作列的节点管理。

  2. 在节点管理页面，单击要挂载公网的节点组所在行的image图标，单击节点ID进入实例详情。

  3. 在配置信息 > 公网IP区域，可以根据需求单击绑定弹性公网IP或者分配公网IP。

    • 绑定弹性公网IP：创建弹性公网IP并进行绑定，具体可参考弹性公网IP。

    • 分配公网IP：设置大于0 Mbps的带宽值，系统将自动分配公网IP，具体可参考固定公网IP。

  4. 配置成功后，在节点管理页面，单击要获取公网IP的节点组所在行的image图标，查看公网IP。

    image

如何在本地以免密方式登录集群？

您可以通过以下步骤在本地以免密方式登录集群。

  1. 打开CMD，输入以下命令生成密钥文件。

    ssh-keygen

    本地服务器目录下会生成相应的密钥文件。ssh-key

  2. 将生成的公钥加入到待访问集群的Master节点上。

    1. 进入待访问集群的/.ssh目录。

      cd ~/.ssh

    2. 配置Master节点的密钥。

      vim authorized_keys

    3. 添加本地公钥中id_rsa.pub的内容复制到authorized_keys中。

  3. 将本地机器的IP地址添加到安全组规则中。

    1. 获取机器的公网访问IP地址。

      为了安全地访问集群组件，在设置安全组策略时，推荐您只针对当前的公网访问IP地址开放。获取您当前公网访问IP地址的方法是，访问IP地址，即可查看您当前的公网访问IP地址。

    2. 添加安全组规则，并开启22端口。

      添加安全组规则，详情请参见添加安全组规则。Security group

  4. 在CMD中，输入以下命令免密登录集群。

    ssh root@<Master节点公网IP地址>

创建集群时的密码可以用来登录集群的节点吗?

E-MapReduce集群创建后，Master节点可以使用创建集群时设置的密码登录，其余节点的登录方式，请查看登录集群其他节点。

如何重置集群登录密码？

重置密码需要前往ECS控制台操作。具体操作如下：

  1. 在E-Mapreduce控制台的节点管理页面，找到待修改的节点。

  2. 单击实例ID，跳转至ECS控制台。

  3. 在实例页面，单击重置密码。

    更多信息，请参见重置实例登录密码。

使用Workbench连接ECS实例时出现没有权限的问题，怎么处理？

通过Workbench连接ECS实例时如果出现没有权限的问题，请根据自己使用的账号进行排查：

  • 阿里云账号（主账号）：排查是否已创建Workbench服务关联角色。首次连接实例时会出现创建服务关联角色的对话框，单击确定系统会自动为您创建该服务关联角色。

  • RAM账号：需要联系主账号或管理员为您授予AliyunECSWorkbenchFullAccess系统权限策略，拥有该权限的用户才可以创建Workbench的服务关联角色并使用Workbench登录实例，具体可参见Workbench的服务关联角色。

相关文档

为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：

上一篇：常用文件路径下一篇：扩容集群
文档推荐