创建Hive数据源
背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等...
基于Hadoop集群支持Delta Lake或Hudi存储机制
使用限制 基于Hadoop集群支持Delta Lake或Hudi存储机制湖仓一体方案，使用限制如下：仅华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域支持构建湖仓一体能力。操作流程 本文以阿里云...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
版本概述
3.34.0~EMR-3.35.0 版本 EMR-3.35.0 EMR-3.34.0 发布时间 2021.4 2021.3 Hadoop 2.8.5 2.8.5 Knox 1.1.0 1.1.0 Spark 2.4.7 2.4.7 Hive 2.3.7 2.3.7 Tez 0.9.2 0.9.2 Sqoop 1.4.7 1.4.7 YARN 2.8.5 2.8.5 HDFS 2.8.5 2.8.5 Flink 1.11-vvr-...
SLS触发器
例如：您设置的ETL Job触发间隔为60秒，Logstore的Shard0一直有数据写入，那么Shard每60秒就会触发一次函数执行（如果Shard没有新的数据写入则不会触发函数执行），函数执行的输入为最近60秒的Cursor区间。在函数内，可以根据Cursor读取...
SLS触发器
例如：您设置的ETL Job触发间隔为60秒，Logstore的Shard0一直有数据写入，那么Shard每60秒就会触发一次函数执行（如果Shard没有新的数据写入则不会触发函数执行），函数执行的输入为最近60秒的Cursor区间。在函数内，可以根据Cursor读取...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
Broker Load
分为ETL和LOAD两种进度，分别对应导入流程的ETL和LOADING两个阶段。目前Broker Load只有LOADING阶段，所以ETL固定显示为N/A，而LOAD的进度范围为0~100%。LOAD的进度的计算公式为 LOAD进度=当前完成导入的表个数/本次导入任务设计的总表个数...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
一部分用户基于过去几年中基于多种利用Hadoop的历史蠕虫已经意识到RESTful API的风险，通过配置开启了基于HTTP的认证，或通过防火墙或安全组封禁了RESTful API对应的8088端口，但由于他们没有意识到Hadoop同时提供RPC服务，并且访问控制...
自建Oracle迁移至PolarDB-X
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：...
自建HBase迁移至云原生数据仓库 AnalyticDB MySQL 版 ...
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。设置待迁移的表在目标 云原生数据仓库AnalyticDB MySQL版 中主键列和分布键信息。...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页面下方的 下一步配置库表字段，设置待同步的表在目标 ...
Db2 for LUW同步至自建Kafka集群
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标...
Db2 for LUW同步至PolarDB MySQL版
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标...
从沙箱实例迁移至RDS MySQL
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：...
Db2 for LUW迁移至PolarDB-X 2.0
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：...
Db2 for LUW迁移至PolarDB MySQL版
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标...
Db2 for LUW同步至RDS MySQL
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：...
Db2 for LUW迁移至RDS MySQL
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：...
Db2 for LUW同步至PolarDB-X 2.0
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。上述配置完成后，单击页面下方的 下一步配置库表字段，设置待同步的表在目标 ...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
关于ETL的更多信息，请参见 什么是ETL。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
RDS MySQL迁移至AnalyticDB MySQL 3.0
说明 多表归并功能基于任务级别，即不支持基于表级别执行多表归并。如果需要让部分表执行多表归并，另一部分不执行多表归并，您可以创建两个数据迁移任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者迁移任务...
使用SQL管理外部项目
基于数据湖构建DLF和对象存储OSS的外部项目操作 基于Hadoop外部数据源的外部项目操作 创建与外部数据源中表结构相同的表 基于数据湖构建DLF和对象存储OSS的外部项目操作 在创建External Project后，您可以通过 MaxCompute客户端 进入创建的...
计算设置概述
华为 FusionInsight 8.x Hadoop 华为推出的基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的大数据平台。亚信DP5.3 Hadoop 基于开源生态，依托电信级技术能力构建的大数据生产运营一体化支撑平台。星环ArgoDB ...
客户案例
客户需求 基于Hadoop开源生态打造，软硬件维护成本高昂，稳定性问题不断，严重影响业务经营分析。线上业务爆发，需求积压严重，期望有整体解决方案，能够快速灵活支持业务发展所需的技术扩展。价值体现 通过MMA工具，15天完成400TB+历史...
注册EMR集群至DataWorks
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
DataWorks V3.0
E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据...
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见：E-MapReduce产品概述。支持的...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
基于OSS-HDFS构建数据湖
背景信息 OSS-HDFS（JindoFS）是一款云原生数据湖存储服务，相比原生OSS存储，OSS-HDFS与Hadoop生态计算引擎无缝集成，在典型的基于Hive和Spark的离线ETL场景拥有更好的表现。OSS-HDFS详情请参见 OSS-HDFS服务概述。对于存储在OSS-HDFS上的...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
Dataphin管道任务运维补数据只有...hadoop.security....
问题描述 Dataphin管道任务运维...问题原因 由于hive使用的是 hadoop 的 HDFS（hadoop 的分布式文件系统），但是某个HDFS文件，做了特殊权限，导致写入失败。解决方案 检查该HDFS文件的权限，确保用户对该HDFS文件有写入权限。适用于 Dataphin
实例类型
E-MapReduce集群由多个不同类型的实例...当集群计算能力不足时，您可以随时通过计算实例节点快速给集群增加额外的计算能力，例如Hadoop的MapReduce任务和Spark Executors等。计算实例节点可以随时新增和减少，并且不会影响现有集群的运行。
迁移Hadoop文件系统数据至JindoFS
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
概览
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 文件存储 HDFS 版 作为defaultFS，从而获得 文件存储 HDFS 版 带来的超越原始HDFS的功能和性能优势。更多信息，请参见 安装文件系统SDK、SDK示例。
- 产品推荐
- 这些文档可能帮助您