其他漏洞汇总说明
Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop与Hadoop Yarn ResourceManager未授权访问漏洞 Hadoop是一款分布式基础架构，...
使用Flink访问
建议您选用的Apache Hadoop版本不低于2.7.3，本文中使用的Apache Hadoop版本为Apache Hadoop 2.7.3。下载Apache Flink压缩包。在Lindorm文件引擎上使用的Flink的版本必须为1.9.0及以上，Apache Flink下载地址为 官方链接。本文中使用的...
使用Spark访问
建议您选用的Apache Hadoop版本不低于2.7.3，本文档中使用的Apache Hadoop版本为Apache Hadoop 2.7.3。下载Apache Spark压缩包。Apache Spark下载地址：官方链接。选用Apache Spark版本时请注意该版本要与您当前选用的Apache Hadoop版本相...
在ECI中访问HDFS数据
Apache Hadoop下载地址请参见 Hadoop下载，建议选用的Apache Hadoop版本不低于2.7.2，本文档中使用的Apache Hadoop版本为Apache Hadoop 2.7.2。解压Apache Hadoop压缩包到指定文件夹。tar-zxvf hadoop-2.7.2.tar.gz-C/usr/local/修改core-...
报错“error occurred where call hadoop api”
问题描述 Dataphin管道任务失败，报错“error occurred where call hadoop api”。问题原因 Hive表字段改动导致。Hive表字段改动是要更新管道任务配置的，Hive输出组件的配置要求Hive表字段全部映射，否则就不允许提交，如果是TEXTFILE格式...
概览
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 文件存储 HDFS 版 作为defaultFS，从而获得 文件存储 HDFS 版 带来的超越原始HDFS的功能和性能优势。更多信息，请参见 安装文件系统SDK、SDK示例。
在文件存储 HDFS 版上使用Apache Spark
建议您选用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.7.2。已 下载Apache Spark压缩包。本文使用的Apache Spark版本为2.4.8。步骤一：配置Hadoop 执行以下命令解压Hadoop压缩包到指定目录。tar-zxf hadoop-2.7.2....
在文件存储 HDFS 版上使用Apache Flink
建议您选用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.7.2。已 下载Apache Flink压缩包。本文使用的版本为官方提供的预编译版本Apache Flink 1.12.5。步骤一：配置Hadoop 执行以下命令解压Hadoop压缩包到指定目录。...
HDFS常见命令介绍
关于Apache Hadoop的详细介绍，请参见 Apache Hadoop官网。mkdir 在HDFS文件系统中创建目录。语法 hadoop fs-mkdir[path2].[pathn]示例：在HDFS文件系统中，创建 dir 目录。hadoop fs-mkdir dir 您可以通过 hadoop fs-ls/命令查看创建的...
功能特性
文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员和用户熟知，您无需在迁移到云时学习新的存储范例。从传统HDFS迁移到 文件存储 HDFS 版，不会...
元数据性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统...
使用Fuse-DFS挂载文件存储 HDFS 版
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已下载与Hadoop集群版本相同的Hadoop源码包。具体下载地址请参见 下载Hadoop源码包。背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块，提供了使用FUSE...
搭建Hadoop环境
背景信息 Apache Hadoop软件库是一个框架，它允许通过简单的编程模型在由多台计算机组成的集群上对大规模数据集进行分布式处理。该框架设计能够从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储能力。Hadoop并不依赖硬件来实现...
在文件存储 HDFS 版上使用Presto
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli-xxx-executable.jar。本文使用的Presto版本为0.265.1。背景信息 ...
在文件存储 HDFS 版上使用Apache Tez
本文使用的Apache Hadoop版本为2.8.5，Tez版本为0.9.2，编译后的两个压缩包如下。tez-dist/target/tez-0.9.2-minimal.tar.gz/最小压缩包，仅包含Tez依赖 tez-dist/target/tez-0.9.2.tar.gz/完整压缩包，包含Tez和Hadoop依赖 背景信息 ...
集群吞吐性能测试
测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 TestDFSIO是Hadoop系统...
文件存储HDFS版
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark、Flink等）可以无需修改代码和编译，直接使用文件存储HDFS版作为defaultFS，从而获得超越原始HDFS的功能和性能优势。如果您更习惯使用图形化的Web应用程序，可以使用...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
CDP集群组件版本
Component Version Apache Arrow 0.8.0.7.1.7.0-551 Apache Atlas 2.1.0.7.1.7.0-551 Apache Calcite 1.19.0.7.1.7.0-551 Apache Avro 1.8.2.7.1.7.0-551 Apache Hadoop(Includes YARN and HDFS)3.1.1.7.1.7.0-551 Apache HBase 2.2.3.7.1....
通过CDH5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
快速入门
本文使用的Hadoop版本为Apache Hadoop 2.7.2。操作视频 步骤一：创建文件系统 您可以通过 文件存储 HDFS 版 控制台创建文件系统或调用 CreateFileSystem 创建文件系统。登录 文件存储HDFS版控制台。在顶部菜单栏选择要创建文件系统实例的...
文件存储 HDFS 版和对象存储OSS双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已开通对象存储OSS服务并创建存储空间（Bucket）。具体操作，请参见 对象存储OSS快速入门。背景信息 阿里云 文件存储 HDFS 版 是面向阿里云ECS实例及...
数据服务集群
Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用以对HBase表进行类似于SQL的查询。Apache HBase基于HDFS作为底层存储系统，在云上的场景可以使用对象存储（例如OSS）来提供更好的灵活性以及更低的成本。...
简介
API 应用程序编程接口 用户开放API，在API网关录入API，以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API，首先需要创建API分组 每个API分组拥有一个二级域名，两个Stage 用户需要将已经备案且解析至...
注册EMR集群至DataWorks
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
DataWorks V3.0
E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据...
JindoFS介绍和使用
JindoFS块存储模式（Block）JindoFS存储模式（Block），不仅提供缓存加速能力，还可以组织、存储数据和管理文件元数据，类似Apache Hadoop HDFS。在此模式下JindoFS是个独立的存储系统，只是文件块数据存储在OSS上。Cache模式和Block模式...
YARN调度器
yarn.scheduler.capacity.resource-calculator org.apache.hadoop.yarn.util.resource.DominantResourceCalculator 资源计算类，用于队列、节点、应用的各类资源运算（影响调度器的各个环节），默认org.apache.hadoop.yarn.util.resource....
Dataphin集成任务同步失败报错："Operation category ...
422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)at org.apache.hadoop.ipc.Client.call(Client.java:1476)at org.apache....
基础术语
中文 释义 API 应用程序编程接口，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。API 分组 用于将 API 进行逻辑的分组，同个分组下的 API 使用相同的分组标识做隔离。分组标识 是网关全局的唯一标识，用于定位在访问的 API。...
文件存储 HDFS 版和数据库MySQL双向数据迁移
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如...
CDH6与文件引擎集成
CDH（Cloudera's Distribution,including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用 CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于...
Lindorm（HBase）数据入库与ETL
hadoop}"} 参数说明如下：Key Value uri 栅格数据源URI time_tag 数据集元数据中的时间标签名称 type 操作类型 说明 这里只有两种类型的读取器可用：通过Hadoop API从S3或从Hadoop支持的文件系统中读取。数据写入objects {"name":...
SmartData常见问题
Hortonworks版本（Hortonworks Data Platform，简称HDP）和Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）都可以使用，但可能会存在冲突，需要修改配置 fs.oss.impl=JindoOssFileSystem。JindoFS可以在ECS自...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
由于Apache Hadoop的FileUtil.unTar API在传递Shell之前未对输入的文件名进行转义，攻击者可以利用该漏洞注入任意命令，从而对集群造成破坏。漏洞影响 漏洞影响的Hadoop版本：2.0.0<=Apache Hadoop<= 2.10.1 3.0.0-alpha <=Apache Hadoop...
Apache Impala（CDH6）查询OSS数据
CDH是Cloudera提供的包含Apache Hadoop核心组件的企业级大数据发行版，已支持Hadoop 3.0.0。本文将详解如何配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接阿里云OSS存储服务进行数据查询操作。前提条件 已搭建CDH6 集群。...
Dataphin中数据集成任务运行报错“java.io....
498)~[na:1.8.0_152]at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:258)~[hadoop-common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke...
MapReduce开发手册
groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>2.8.5</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common...
- 产品推荐
- 这些文档可能帮助您