最好用hadoop 用户-最好用hadoop 用户文档介绍内容-阿里云

EMR集群JindoData升级流程（旧版控制台）

准备软件包和升级脚本登录EMR集群的Master节点，并将下载的patch包放在Hadoop用户的HOME目录下，将patch包解压缩后，使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...

EMR集群JindoSDK升级流程（旧版控制台）

准备软件包和升级脚本登录EMR集群的Master节点，并将下载的patch包放在Hadoop用户的HOME目录下，将patch包解压缩后，使用hadoop用户执行操作。su-hadoop cd/home/hadoop/wget ...

YARN高安全特性使用指南

说明 yarn.admin.acl=hadoop 配置值的通常格式为用户用户组，前面是用户，后面是用户组，中间使用空格分割，用户和用户组可配置多个，均使用逗号（,）分割。例如，user1,user2 group1,group2，只有用户组的情况下，必须在最前面加上空格...

快捷模式与安全模式差异比对

使用该模式绑定EMR引擎时，阿里云主账号或RAM用户在DataWorks运行代码或自动调度任务，都只是下发代码至EMR集群，实际运行的身份为集群内的Hadoop用户。无法做到细粒度的权限控制。说明 Hadoop用户拥有Hadoop集群的所有权限，请谨慎授权。...

Hive Metastore使用加密文件访问RDS

执行以下命令，将凭据文件移动到Hive的配置文件目录，并将该文件的所有者更改为hive用户或hadoop用户。DataLake或Custom集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hive$HIVE_CONF_DIR/hive.jceks Hadoop集群类型 sudo mv/...

漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞

登录EMR集群的Master节点，并将上一步骤中下载的patch包放在emr-user用户或hadoop用户的HOME目录下。执行以下命令，切换用户并解压缩hadoop-patches-tools.zip包。数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务...

usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs/*:/usr/local/hadoop-2.7.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...

Hive基础操作

执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，进入Hive命令行。hive 库操作本文示例中的数据库以testdb为例介绍。创建库 create database if not exists testdb;当返回信息包含OK时，表示创建库testdb成功。查看库 desc ...

配置自建RDS

执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，进行初始化。schematool-initSchema-dbType mysql 待初始化成功后，则可以使用自建的RDS作为Hive的元数据库。说明在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的...

Hadoop使用JindoSDK访问OSS-HDFS服务

对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。关于OSS-HDFS服务的应用场景、服务特性、功能特性等更多信息，请参见什么是OSS-HDFS服务。步骤一：创建专有...

修复单台JournalNode异常

su emr-user 如果5.7.0或3.41.0之前版本的EMR提示emr-user不存在，可切换至hadoop用户。su hadoop 同步打包后的文件。scp/tmp/jn-current.tar.gz$unhealthy-journal-node:/tmp/$unhealthy-journal-node 需要替换为异常JournalNode节点的...

Spark本地调试环境搭建

因为JindoSDK暂时不支持Windows系统和Mac M1系列，所以该类系统如果想在本地测试，可以使用 hadoop-aliyun，具体操作如下。在 pom.xml 中添加 hadoop-aliyun 相关的依赖。oss-><dependency><groupId>org.apache.hadoop</groupId>...

漏洞公告|Apache Log4j2远程代码执行漏洞

将patch包解压缩后，使用 emr-user 或 hadoop 用户执行操作。数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和自定义场景的集群 su emr-user tar zxf patches-log4j.tar.gz 其余集群 su hadoop ...

Phoenix

执行以下命令，切换为hadoop用户。su-hadoop 执行以下命令，使用Phoenix的命令行工具。opt/apps/PHOENIX/phoenix-current/bin/sqlline.py 您可以使用SQL进行数据查询。常见操作如下：创建表 CREATE TABLE IF NOT EXISTS example(my_pk ...

YARN高可用特性使用指南

建议将该目录存放在系统盘非/tmp 目录下，并且确保hadoop用户有读写权限（推荐使用/home/hadoop/yarn-nm-recovery），避免/tmp 目录数据丢失和数据盘坏盘处理影响NM服务。yarn.nodemanager.recovery.supervised true 是否在NM退出时保留...

查看节点健康状态

节点健康状态展示了当前...host_user_permission_check 检测重要用户的权限，例如hadoop用户、hdfs用户等。无阈值，有一个用户权限检测异常即为异常。host_fault_compensation_check 检测是否发生故障补偿。无阈值，有故障补偿发生即为异常。

项目管理

在开启安全模式的项目中提交作业时，阿里云账号以默认hadoop用户执行，RAM用户则默认以当前RAM用户同名的EMR用户执行作业。进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择...

管理引导操作

您指定的脚本默认使用root账户执行，您也可以在脚本中使用 su-hadoop 命令，切换为hadoop用户执行。添加引导操作添加引导操作支持以下两种方式。方式一：创建集群时添加引导操作进入集群管理页面。登录 E-MapReduce控制台。在顶部菜单栏...

选择付费方式

Hadoop用户上云迁移的付费方式。某个Hadoop集群可能有1个管控节点以及5台计算节点，每台机器32核，相当于是32个CPU，5台计算节点就是160个CPU，对应标准的官方报价是每个月 24000元（此价格未包含折扣或者优惠）。MaxCompute无需考虑管控...

DataFlow集群通过Hive Catalog连接数据湖元数据DLF

执行以下命令，切换为hadoop用户并进入Hive命令行。su-hadoop hive 执行以下命令，查看库信息。desc database flink_dlf_hive;说明命令中的 flink_dlf_hive 为上一步骤中创建的数据库的名称。OK flink_dlf_hive oss:/aliyu*/flink_dlf_...

漏洞公告|Apache Kafka Connect远程代码执行漏洞

登录集群的Master节点，并将上一步骤中下载的软件包放在hadoop用户的/usr/lib/目录下。登录集群详情，请参见登录集群。执行以下命令，将安装包复制到worker-1-1节点。su-hadoop scp/usr/lib/kafka-2.12-2.4.1-1.1.5.tar.gz work-1-1:/tmp/...

迁移Hadoop文件系统数据至JindoFS

迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...

Hadoop DistCp介绍

使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...

FE参数配置

disable_cluster_feature 默认值：true 是否可以动态配置：true 说明：多集群功能将在0.12版本中弃用，将此配置设置为true将禁用与集群功能相关的所有操作，包括：创建、删除集群。添加、释放BE、将BE添加到集群、停用集群balance。更改...

用户营销概述

用户营销模块对接多种营销渠道，对您在用户洞察侧创建的人群，做指定渠道营销。功能简介用户营销模块主要包括三大部分：营销管理：活动管理：覆盖营销计划、营销执行等阶段，关联营销活动中涉及的人群、营销任务等，帮助您一站式管理营销...

2023年

新说明 MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...

搭建Hadoop环境

Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。前提...