搭建与管理（基于Hadoop）
阿里云E-MapReduce/Hadoop集群 网络连接 选择或创建MaxCompute到阿里云E-MapReduce或Hadoop VPC网络的连接。参数详情，请参见 访问VPC方案（专线直连）中的 创建MaxCompute与目标VPC网络间的网络连接 步骤。说明 公测阶段暂不收费。网络...
MaxCompute+Hadoop搭建实践
参数 说明 异构数据平台类型 选择 阿里云E-MapReduce/Hadoop集群 网络连接 选择已创建的网络连接。例如：test_net。选择外部数据源 此处直接 创建外部数据源，例如：foreign_data。参数详情请参见 外部数据源参数说明。说明 如果集群为高...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
基于Hadoop集群支持Delta Lake或Hudi存储机制
涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目（非External...
异构数据源访问
为确保 AnalyticDB PostgreSQL版 与Hadoop间的网络端口畅通，需将以下异构数据源访问功能会用到的Hadoop服务默认的端口全部加入安全组。具体操作，请参见 添加安全组规则。服务 端口号 Namenode IPC Hadoop2.x版本：8020 Hadoop3.x版本：...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
UDF开发（Java）
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
数据导入常见问题
磁盘IO能力和网络带宽 正常50 Mbit/s~100 Mbit/s是没有问题的。导入批次和频率 Stream Load批次大小建议10 MB~100 MB。Broker Load还好，因为Broker Load针对的场景都是批次大小比较大的情况。导入频率不要太高，SATA盘1s不超过一个任务。...
上下游存储
Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么作用？为什么Flink和Kafka之间的网络是连通的，但是依然会有timeout expired while fetching...
集群管理常见问题
您可以单独申请EIP地址，并绑定到未分配公网IP地址的专有网络VPC类型的实例上，使ECS实例可以通过公网访问，详情请参见 绑定EIP。什么场景下开启部署集？部署集是阿里云ECS（Elastic Compute Service）提供的能力，用于控制ECS实例分布的...
测试环境
环境配置要求 测试环境总体要求：自建Hadoop+Spark集群的网络环境为VPC网络。自建Hadoop+Spark集群和DLA Spark在同一个地域。自建Spark集群请使用Spark 2.4.5版本，自建Hadoop请使用2.7.3版本。3种不同测试场景下的测试环境配置要求：场景...
Hadoop生态外表联邦分析
2020年9月6日前申请的存量存储弹性模式实例，由于网络架构不同，无法与外部Hadoop生态的数据源网络打通，无法使用该特性。如需使用，请联系后台技术人员，重新申请实例，迁移数据。前提条件：配置SERVER端 由于不同用户的配置需求不尽相同...
通过开源HDFS客户端连接并使用文件引擎
export HADOOP_HOME=${Hadoop安装目录}/hadoop-2.7.3 执行以下命令进入 hadoop 目录。cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of ...
测试方法
在DLA Spark上运行测试程序 说明 通过DLA Spark访问自建Hadoop集群需要配置打通VPC网络，具体DLA Spark连接VPC网络下的HDFS相关参数的含义和配置步骤，请参见 Hadoop。登录 Data Lake Analytics管理控制台，在 Serverless Spark>作业管理 ...
E-MapReduce数据迁移方案
经典网络与VPC网络打通 如果ECS自建Hadoop，需要通过ECS的 classiclink 的方式将经典网络和VPC网络打通，详情请参见 建立ClassicLink连接。VPC网络之间连通 数据迁移一般需要较高的网络带宽连通，建议新旧集群尽量处在同一个区域的同一个...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
2021年
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+OSS的连接 支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目，代替原有的工单开通方式，时间从天级别...
MaxCompute湖仓一体
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。前提条件 在开始使用Dataphin管理通过MaxCompute与DLF和OSS构建的湖仓一体前...
MaxCompute湖仓一体
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。前提条件 在开始使用Dataphin管理通过MaxCompute与DLF和OSS构建的湖仓一体前...
MaxCompute湖仓一体概述
当MaxCompute与Hadoop平台所在的VPC区域网络开通后，MaxCompute可以直接访问Hive元数据服务，并将元数据信息映射到MaxCompute的外部项目（External Project）中。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）...
通过DataWorks将Hadoop数据同步到阿里云ES
重要 绑定专有网络后，您需要将专有网络的 交换机网段 加入到Hadoop集群、ES实例的VPC私网访问白名单中。具体操作，请参见 配置ES实例公网或私网访问白名单。在页面左上角，单击返回图标，返回 资源组列表 页面。在已创建的独享资源组的 ...
访问MaxCompute数据源
spark.hadoop.odps.endpoint MaxCompute所在地域对应VPC网络的Endpoint。查询各地域VPC网络的Endpoint，请参见 各地域Endpoint对照表（阿里云VPC网络连接方式）。spark.hadoop.odps.project MaxCompute的项目空间名称。spark.adb....
从自建HDFS迁移数据
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
挂载文件存储 HDFS 版文件系统
挂载说明 如果挂载点网络类型是专有网络，则只支持与挂载点同一VPC网络的ECS实例挂载文件系统，且挂载点所绑定的权限组中授权地址必须包含ECS实例的VPC IP地址。挂载文件系统 连接ECS实例。连接方式，请参见 连接ECS实例。配置core-site....
核心概念的层次结构
Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络开通...
术语表
N Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络...
管理Hive Catalog
网络连通后，Flink就可以使用Hadoop集群的配置文件访问Hadoop集群。在OSS控制台新建目录，并将Hive配置文件和Hadoop依赖上传至目标路径。登录 OSS管理控制台 OSS管理控制台。单击 Bucket列表。单击目标Bucket名称。在 oss:/${bucket}/...
网络开通流程
您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍MaxCompute与目标服务间的网络结构及支持的网络开通方案。免责声明 MaxCompute提供的公网与VPC访问能力目前属于免费...
大数据型
计算：处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8163（Skylake）存储：I/O优化实例 仅支持ESSD云盘、ESSD AutoPL云盘、SSD云盘和高效云盘 网络：支持IPv6 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：Hadoop ...
内存型
超高网络收发包PPS能力 小规格实例网络带宽具备突发能力 实例网络性能与计算规格对应（规格越高网络性能越强）安全 支持vTPM特性，依托TPM/TCM芯片，实现从物理服务器到实例的启动链可信度量，提供超高安全能力 支持基于AMD安全加密虚拟化...
Lindorm文件引擎
spark.hadoop.dfs.client.failover.proxy.provider.<dfs.nameservices>":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.<dfs.nameservices>":"nn1,nn2","spark.hadoop....
实例规格族
推荐 其他在售（如果售罄，建议使用推荐规格族）通用型实例规格族g8a 通用型实例规格族g8i 通用平衡增强型实例规格族g8ae 存储增强通用型实例规格族g7se 通用型实例规格族g7a 通用型实例规格族g7 安全增强通用型实例规格族g7t 网络增强型...
应用场景
由于大数据类型实例规格采用了本地存储的架构，云服务器ECS在保证海量存储空间、高存储性能的前提下，可以为云端的Hadoop集群、Spark集群提供更高的网络性能。更多详情，请参见 大数据型实例规格族。图形渲染 异构GPU具有优异的GPU计算加速...
ECS选型最佳实践
高性能端游 hfc系列，如hfc7 高主频 1:2 手游、页游 g系列，如g6e 中主频 1:4 视频直播 视频转发 g系列，如g7 中主频，计算密集型 1:4 直播弹幕 g系列，如g7 高网络PPS，计算密集型 1:4 Hadoop、Spark、Kafka大数据场景推荐 在该类场景中，...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
搭建Hadoop环境
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
使用Spark访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
- 产品推荐
- 这些文档可能帮助您