集群监控概述
功能 使用场景 配置自定义报警策略 为避免出现集群状态异常、节点磁盘使用率过高等问题而影响Logstash服务，建议您进行监控报警配置，实时监控集群状态、节点磁盘使用率等信息，及时查收报警短信，提前做好防御措施。目前，Logstash支持在...
配置集群报警
以添加 节点磁盘使用率 监控、集群状态 监控、节点HeapMemory使用率 监控为例，参数配置如下，未提及的参数保持默认，详细参数说明请参见 创建报警规则。参数 说明 产品 选择 Elasticsearch。资源范围 选择 实例。关联资源 选择待监控的...
文件存储 HDFS 版和对象存储OSS双向数据迁移
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：Hadoop集群部署JindoSDK 下载最新的 JindoSDK安装包。本文以jindosdk-4.5.0为例。执行...
基于Hadoop集群支持Delta Lake或Hudi存储机制
涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目（非External...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
阿里云Prometheus监控
默认采集的基础指标 启用功能后自动上报的基础指标 容器基础资源监控kubelet 集群应用状态监控kube-state-metrics 集群节点基础资源监控node-exporter 集群节点GPU监控ack-gpu-exporter 托管版集群 控制面组件监控 指标API Server、etcd、...
Dataphin如何使用一个Hadoop集群为所有项目创建计算源...
概述 本文为您介绍Dataphin如何使用一个Hadoop集群为所有项目创建计算源从而提供计算与存储资源。详细信息 1.Dataphin一个计算源只可以被一个项目所绑定。2.通过创建不同的Hive DB从而创建不同的计算源来达到一个Hadoop集群创建多个计算源...
准备工作
环境准备 已创建阿里云E-MapReduce的Hadoop集群。具体操作，请参见 创建集群。已下载E-MapReduce的最新 SDK，SDK包的名称格式为emr-datasources_shaded_*.jar，emr-datasources_shaded_*.jar中包含Tablestore相关的Spark批流Source和Sink。...
设置Dataphin实例的计算引擎为Hadoop
如下图所示：已创建集群：可以通过E-MapReduce 5.x Hadoop集群的详情页查看所创建的集群存储类型。如下图所示：NameNode Hadoop支持添加同集群多个HDFS地址，只要有一个地址校验成功，即可完成元数据采集。例如 host=192.xxx.xx.xxx,...
Spark对接Kafka
本文介绍如何在E-MapReduce的Hadoop集群运行Spark Streaming作业，处理Kafka集群的数据。背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-...
使用Druid
对于独立的E-MapReduce Druid集群，如果您需要存放索引数据至一个Hadoop集群的HDFS，请设置两个集群的连通性（详情请参见 与Hadoop集群交互）。在E-MapReduce Druid 配置 页面的 common.runtime 页签，配置如下参数。参数 描述 druid....
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
数据源
本文将解答与数据源相关的问题。Q：Databricks数据洞察的支持哪些数据源？目前支持读写阿里云对象存储（OSS）的数据。Q：是否支持当前的DDI集群访问其他集群的HDFS数据？支持访问同账号下的EMR Hadoop集群上的HDFS数据。
在文件存储 HDFS 版上使用Apache Tez
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
从OSS迁移数据
搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop...
数据迁移
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
创建Hadoop计算源
若您需开启Impala任务进行快速查询和分析数据，请您提前在Hadoop集群上部署Impala（Impala v2.5及以上版本）。在E-MapReduce5.x计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置...
在文件存储 HDFS 版上使用Apache HBase
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...
Hive Metastore使用加密文件访问RDS
DataLake或Custom集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hive$HIVE_CONF_DIR/hive.jceks Hadoop集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hadoop$HIVE_CONF_DIR/hive.jceks 在EMR控制台目标集群Hive...
使用独立的Trino集群
如果要使用独立的Trino集群，需要先创建一个DataLake集群、自定义集群或Hadoop集群，或使用已有的DataLake集群、自定义集群或Hadoop集群作为数据集群。创建完独立的Trino集群后，您需要进行以下配置：配置连接器 可选：配置数据湖元数据 ...
使用Fuse-DFS挂载文件存储 HDFS 版
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Fuse-DFS 在Hadoop客户端上安装依赖并载入FUSE模块。执行以下命令，安装依赖。yum...
扩容集群
Hadoop集群类型中通过弹性伸缩模块创建的弹性伸缩组（创建详情请参见 配置弹性伸缩（仅Hadoop集群类型）），无法进行该操作。操作步骤 重要 集群扩容操作不会重启存量节点上的应用进程。进入节点管理页面。登录 E-MapReduce控制台。在顶部...
创建Hive数据源
配置文件 上传集群的 core-site.xml 和 hivemetastore-site.xml 配置文件，配置文件可在Hadoop集群导出。AccessKey ID、AccessKey Secret 填写访问集群OSS的AccessKey ID和AccessKey Secret。查看AccessKey，请参见 查看AccessKey。重要 ...
管理节点组（Hadoop、Data science和EMR Studio集群）
本文为您介绍如何新增、修改和删除节点组。背景信息 您可以新增节点组，以满足不同实例节点的需求。例如，内存型实例节点（vCore:vMem=1 vCPU:8 GiB）用于大...如果需要查看弹性伸缩记录，详情请参见 查看弹性伸缩记录（仅Hadoop集群类型）。
查询项目中可用的集群列表
Status String IDLE 集群状态：CREATING：集群创建中 CREATE_FAILED：集群创建失败 RUNNING：运行中 IDLE：集群空闲 RELEASING：集群释放中 RELEASE_FAILED：集群释放失败 RELEASED：集群已释放 WAIT_FOR_PAY：待支付 ABNORMAL：集群状态...
自治服务概述
集群主机监控 打开 集群主机监控 开关后，可进行集群监控项选择；关闭则不展示集群主机监控。在 监控集群 的多选框中，选择需要监控的集群。在 监控指标 左侧待选指标区域中进行勾选，单击 按钮，添加目标指标到已选指标。编辑大盘 访问...
HDFS Balancer
DataLake集群 tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log Hadoop集群 tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log 说明 命令中的 hadoop-hdfs-balancer-master-1-1.c-xxx.log 和 hadoop-hdfs-balancer-emr-header-xx....
网络开通流程
您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍MaxCompute与目标服务间的网络结构及支持的网络开通方案。免责声明 MaxCompute提供的公网与VPC访问能力目前属于免费...
数据上云场景
Sqoop执行时，会在原来的Hadoop集群上执行MR作业，可以分布式地将数据传输到MaxCompute上，详情请参见 Sqoop工具的介绍。MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和...
Ranger概述
Apache Ranger提供集中式的权限管理框架，可以对Hadoop生态中的HDFS、Hive和YARN等组件...Hadoop集群 mysql-urangeradmin-prangeradmin update ranger.x_portal_user set password="ceb4f32325eda6142bd65215f4c0f371"where login_id="admin;
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
修改集群名称
Name String 是 bi_hadoop 集群新的名称，要求和创建集群时一致。长度限制为1-64个字符，只允许包含中文、字母、数字、短划线（-）和下划线（_）。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 接口查看最新的阿里...
查看专属集群监控信息
DTS专属集群中提供的监控功能可以对集群各节点资源的运行情况进行监控，如果您接收到来自阿里云的告警信息（例如提示您CPU使用率高于80%），可以通过监控功能查看常用资源（例如CPU使用率和内存使用率）的运行情况。注意事项 监控数据保存...
Hadoop Streaming
前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下命令，打开文件 mapper.py。vim/home/hadoop/mapper.py 按...
Hive访问Iceberg数据
前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop集群。使用限制 EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop集群，支持Hive读写Iceberg的数据。操作步骤 ...
查看监控信息
云数据库 SelectDB 版 提供了丰富的性能监控数据，方便您查看和掌握集群的运行状态。监控指标通过Grafana仪表盘展示，并使用预设的PromQL查询语句。本文介绍如何在控制台查看集群监控信息。前提条件 已开通 应用实时监控服务ARMS...
指标含义与异常处理建议
阿里云Elasticsearch为运行中的集群提供了多项基础监控指标（例如集群状态、集群查询QPS、节点CPU使用率、节点磁盘使用率等）和高级监控报警指标（例如Cluster、Index、Note Resource等），用来监测集群的运行状况。您可以根据这些指标，...
- 产品推荐
- 这些文档可能帮助您