迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
概述
开源应用的调试过程中需要使用开源UI，MaxCompute Spark提供原生的开源实时UI和查询历史日志的功能。其中，对于部分开源应用还支持交互式体验，在后台引擎运行后即可进行实时交互。系统结构 MaxCompute Spark是阿里云通过Spark on ...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
如何解决MSE Nacos开源控制台无法使用问题
说明 不建议使用开源控制台，请使用MSE控制台，MSE控制台功能丰富且更安全。解决方案 确认是否已经打开鉴权功能。具体操作，请参见 Nacos Client访问鉴权。若已开启鉴权功能，请使用MSE控制台对Nacos进行操作。若未开启鉴权功能，请确认...
通过客户端方式连接StarRocks实例
使用开源MySQL客户端连接StarRocks 步骤一：下载MySQL客户端并安装数据库 下载 MySQL客户端。执行以下命令，解压缩安装包。tar-zxvf mysql-5.6.40-linux-glibc2.12-i686.tar.gz 执行以下命令，复制解压后的mysql目录到系统的本地软件目录。...
安装HBase Java SDK
使用开源HBase客户端连接并使用Lindorm宽表引擎需要注意以下问题：开源HBase客户端不支持通过公网访问Lindorm宽表引擎。当前不支持通过开源HBase客户端访问多可用区实例。由于存在协议转换，使用开源HBase客户端直接访问Lindorm宽表引擎...
添加开源Elastic Search数据源
本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建...
添加开源Elastic Search数据源
本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中...
开源RabbitMQ迁移上云
在使用开源RabbitMQ集群时，当您希望能够解决各种稳定性痛点（例如消息堆积、脑裂等问题）、实现高并发、分布式、灵活扩缩容时，您可以将开源RabbitMQ集群迁移至 云消息队列 RabbitMQ 版，本文介绍迁移上云的前提条件、操作步骤、注意事项...
产品优势
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
使用独立的Trino集群
背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...
EMR Studio概述
便捷集成 EMR Studio采用半托管的部署形态，您可以直接登录集群灵活操作和部署软件，可以将EMR Studio集成至已有系统。EMR Studio作为一款云上产品，支持与数据湖构建（DLF）和对象存储（OSS）等云上产品对接，构建云原生大数据产品架构。...
EMR Kafka配置说明
本文为您介绍E-MapReduce（简称EMR）中Kafka集群操作系统环境变量和配置项。操作系统环境变量 EMR Kafka集群的ECS实例操作系统用户为kafka，用户组为group，您可以登录ECS实例执行各类操作。EMR Kafka预置了以下Shell终端环境变量。变量名 ...
ECS部分操作系统即将停止支持
鉴于阿里云ECS所使用的部分操作系统镜像即将停止，或已处于停止支持状态，这类情况将对EMR的正常运行与维护产生直接影响。本文为您介绍阿里云ECS中即将或已停止支持的操作系统，以及受影响的EMR版本。即将或已停止支持的操作系 第三方操作...
云监控指标说明
说明 在Linux系统中，一个节拍理解为操作系统进程调度的最小时间片，不同Linux内核可能值有不同，通常在1ms到10ms之间。serverless_starrocks_be_cpu_idle 瞬时值 BE节点CPU使用空闲率。serverless_starrocks_be_max_disk_io_util_percent ...
设置权限
在SIMPLE认证方式下，客户端访问Alluxio服务时，会从操作系统获取当前的登录用户，一起发送请求到服务端，供服务端进行身份标识。如果客户端设置了 alluxio.security.login.username 参数，客户端将使用对应的配置作为请求服务端的用户。...
开启权限认证
背景信息 Hadoop提供了以下两种用于决定用户身份的操作模式：简单模式（Simple）：用户的身份由与HDFS建立链接的客户端操作系统决定。在类Unix系统中，等同于 whoami 命令。Kerberos集群模式：客户端的身份由用户自己的Kerberos证书决定。...
扩容磁盘
系统盘扩容完成后，您需要对扩容的磁盘进行扩展分区和文件系统操作，详情请参见 扩展分区和文件系统_Linux系统盘。说明 在扩展分区和文件系统过程中，如果 umount 命令运行失败，请先在集群上关闭 YARN 和 HDFS 服务。在Disk1操作时，如果...
OpenLDAP
Hive：使用LDAP认证 Spark：管理LDAP认证 Impala：管理LDAP认证 Trino：管理LDAP认证 Presto：管理LDAP认证 Kafka：使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能，则需要参考开源软件的社区文档来配置开启LDAP认证。...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
制品中心
制品特点 内容安全可信 容器镜像均以Anolis OS（Anolis OS由龙蜥开源社区发布的龙蜥操作系统，兼容RHEL/CentOS Linux的社区发行版）、Alibaba Cloud Linux（Alibaba Cloud Linux简称Alinux，是由阿里云操作系统团队以Anolis OS为基础构建的...
登录集群
针对不同操作系统，详细的操作步骤如下：本地使用Linux操作系统 您可以在本地终端的命令行中运行如下命令连接主节点。ssh root@[主节点公网IP地址]本地使用Windows操作系统 下载并安装PuTTY。下载链接：PuTTY。启动PuTTY。配置连接Linux...
什么是EMR on ECS
可靠 大规模、企业级环境的检验，随开源版本升级，并经过专业的兼容性验证测试，提供优于社区版本的使用体验。需自行更新和升级开源版本，验证各组件版本兼容性，自行修复社区bug。服务 专业和资深大数据专家技术服务团队提供售后支持。...
RAM用户授权
具体操作，请参见 创建RAM用户。操作步骤 使用阿里云账号（主账号）或RAM管理员登录 RAM控制台。在左侧导航栏，选择 身份管理>用户。在 用户 页面，单击目标RAM用户 操作 列的 添加权限。在 添加权限 面板，为RAM用户添加 ...
Superset（仅对存量用户开放）
重要 请使用root用户进行以下操作。执行以下命令，进入Superset命令行。source/usr/lib/superset-current/bin/activate 执行以下命令，创建管理员用户。superset fab create-admin 根据如下提示信息输入用户名、密码和确认密码等。Username...
SystemDisk
60 PerformanceLevel string 创建 ESSD 云盘作为系统盘使用时，设置云盘的性能等级。取值范围：PL0：单盘最高随机读写 IOPS 1 万。PL1（默认）：单盘最高随机读写 IOPS 5 万。PL2：单盘最高随机读写 IOPS 10 万。PL3：单盘最高随机读写 ...
基本概念
ECS实例 在E-MapReduce上创建的一台云服务器，等同于一台虚拟服务器，内含CPU、内存、操作系统、网络配置、磁盘等基础的组件。更多介绍，请参见 实例概述。E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景，请参见 ECS...
RAM用户授权
具体操作，请参见 创建RAM用户。操作步骤 使用阿里云账号（主账号）或RAM管理员登录 RAM控制台。在左侧导航栏，选择 身份管理>用户。在 用户 页面，单击目标RAM用户 操作 列的 添加权限。在 添加权限 面板，为RAM用户添加 ...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
Kafka Manager
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
为RAM用户授权
通过RAM用户方式访问EMR Worflow，并进行创建、删除工作空间，新购调度资源组，绑定、解绑集群或集群模板等操作时，需要授予RAM用户AliyunEMRWorkflowAdmin权限。本文为您介绍如何为RAM用户授权。前提条件 已创建RAM用户。具体操作，请参见...
使用DLF元数据
操作步骤 使用SSH方式登录StarRocks集群，详情请参见 登录集群。执行以下命令，连接StarRocks集群。mysql-h127.0.0.1-P 9030-uroot 执行以下命令，创建External Catalog。本文以Hive数据源为例。CREATE EXTERNAL CATALOG hive_catalog ...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
FUSE使用说明
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据...
- 产品推荐
- 这些文档可能帮助您