迁移场景

软件迁移主要包含以下两种场景:自研软件:指开发者开发的或者基于开源软件增强开发的软件。自研软件使用的编程语言主要包含以下两类:编译型语言:以C++/Go为代表的编译型语言,这些语言会将源代码编译成架构相关的二进制文件,因此迁移后...

OpenLDAP

Hive:使用LDAP认证 Spark:管理LDAP认证 Impala:管理LDAP认证 Trino:管理LDAP认证 Presto:管理LDAP认证 Kafka:使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能,则需要参考开源软件的社区文档来配置开启LDAP认证。...

开源软件迁移

当前大部分应用系统都基于开源软件构建,并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...

产品架构

从上图可以看出EMR由四部分组成:社区开源产品 集成Apache社区开源大数据组件,例如Hadoop、Hive和HBase,随着EMR版本更新,开源软件也会相应的升级,详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...

应用市场

概述 应用市场的软件应用包括应用目录,应用目录中的软件是容器服务ACK基于开源软件做了适配和二次开发,其中包含了运行一个应用所需要的镜像、依赖和资源定义等。应用目录中有简介、安装步骤、参数配置项、注意事项等信息。您可以通过Helm...

通过OSS SDK接入开源生态

开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...

阿里云RPA软件用户协议

2.乙方必须保护甲方免于遭受因乙方不能遵守本协议使用软件的约定,或未经授权使用软件发布软件、对软件进行修改或形成衍生作品,和/或在软件本身不侵权的前提下,将软件及其修改、衍生作品与乙方的产品结合而产生的任何索赔,赔偿,损失...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 SparkThriftServer 操作列的>enableLDAP。...

E-MapReduce支持倚天云服务器

丰富的生态:倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构:基于2*50 GB网络架构提供大带宽以及超强转发能力,对比上一代CIPU架构,网络带宽提升1倍。安全增强:支持vTPM特性,依托TPM/TCM芯片,实现从服务器到...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 TrinoMaster 操作列的>enableLDAP。在弹出...

Spark对接Kafka

背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件,相关编程使用方法可参见官方相应文档。Spark官方文档:streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo:github地址。访问...

Lindorm for Cassandra应用实践

可调一致性(无需repair数据)服务模式 自建 集群托管或者Serverless可选 可靠性 无SLA保障,开源软件BUG需要自行修复。SLA保障,并具备主备双活、备份、异地容灾等能力。冷热分离 不支持 透明冷热分离降低成本 全文检索 不支持 兼容CQL...

Sqoop概述

Sqoop是一款Apache社区的开源软件,支持在Hadoop生态软件和结构化数据集(例如数据库)之间进行高效的批量数据传输。背景信息 常见数据传输场景如下:将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...

迁移概述

其中,软件迁移支持迁移自研软件和开源软件:自研软件:指开发者开发的或者基于开源软件增强开发的软件。具体操作,请参见 源码迁移。开源软件:指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...

Workflow商业化发布

2024年1月10日起EMR Workflow正式商业化发布 适用客户 全网用户 新增功能/规格 2024年1月10日起EMR Workflow正式发布。EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务...

创建EMR Studio集群

高级设置 软件自定义配置:可指定JSON文件对集群中的基础软件(例如Hadoop、Spark和Hive等)进行配置,详细使用方法请参见 软件配置。默认不开启。硬件配置。区域 配置项 描述 付费类型 付费类型 默认包年包月。当前支持的付费类型如下:...

Hadoop DistCp介绍

Hadoop DistCp(分布式复制)是一个用于大型集群间或集群内数据复制的工具,通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...

概述

JindoSDK:为EMR各种开源计算引擎提供统一的SDK,支持Java、C、C++和Python语言,提供多种访问和API接口,包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集:提供相关的工具集,例如Jindo tool和迁移工具Jindo DistCp。各种...

EMR Hive功能增强

本文为您介绍E-MapReduce(简称EMR)各版本对应的Hive组件版本,以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...

EMR-3.29.x版本说明

本文介绍EMR-3.29.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.29.0 2020年7月29日 更新内容 服务 变更点 Bigboot 升级至2.7.301版本。Jindo DistCp支持写入时按OSS归档或低频写入。增强Fuse功能,支持多Namespaces。完善Cache...

Catalog概述

说明 本文图片和部分内容来源于开源StarRocks的 概述。Internal Catalog:内部数据目录,用于管理StarRocks所有内部数据。例如,执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks...

EMR Serverless StarRocks商业化发布

2023年06月01日起EMR Serverless StarRocks正式发布。本文为您介绍EMR Serverless StarRocks支持的地域和相关优惠。EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务,您可以通过EMR ...

选型配置说明

即便如此,还是建议您存储数据到OSS或者OSS-HDFS上,集群中的HDFS仅作为YARN任务分发的临时存储空间使用。您可以使用通用机型配合ECS云盘的方式来作为Core节点的机型配置。例如,g7.4xlarge+4*100 GiB。Task节点选型 Task节点主要用来补充...

EMR-3.33.x版本说明

本文介绍EMR-3.33.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.33.0 2021年1月15日 更新内容 服务 变更点 SmartData 升级至3.2.0版本。详情请参见 SmartData 3.2.x版本简介。Spark 升级至2.4.7版本。升级jQuery至3.5.1版本。兼容...

EMR Workflow商业化公告

2024年1月10日起EMR Workflow正式发布。本文为您介绍EMR Workflow支持的地域和相关优惠。EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以...

EMR-3.24.x版本说明

本文介绍EMR-3.24.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.24.0 2019年11月18日 新功能 服务 变更点 Delta 支持SQL语法,包括ALTER、CONVERT、CREATE、CTAS、DELETE、DESC、INSERT、MERGE、OPTIMIZE、UPDATE和VACUUM。内置并...

Impala概述

当某一个Impalad进程由于节点异常、网络异常或软件问题等导致节点不可用时,StateStore确保将状况结果通知其他Impalad进程,当有新的查询请求时,Impalad进程将不会发送查询请求到该不可用的节点。Catalogd 部署在Master节点的master-1-1...

漏洞公告|Solr升级修复漏洞

2024年02月08日,Apache Solr官方发布了四个安全漏洞。这些漏洞可能会影响不同版本的Solr,并导致多种安全风险。本文为您介绍这些漏洞的影响范围及相应的修复方案。漏洞影响 受漏洞影响的EMR产品版本:EMR 5.x系列:EMR-5.16.0之前版本。...

EMR-5.2.x版本说明

优化CBO(Cost-Based Optimization)、DPP(DynamicPartitionPruning)以及Z-Order等功能,性能比开源Spark 3版本提升50%。支持阿里云Log Service、DataHub和消息队列RocketMQ版(简称ONS)等数据源。Tez 优化Tez默认参数,以提升作业性能...

EMR-4.4.x版本说明

发布日期 EMR-4.4.1 2020年9月15日 更新内容 服务 变更点 YARN 删除软件栈 yarn.application.classpath 配置中的 hadoop/tools/lib 目录。优化MR作业默认的参数配置。Hive 优化默认的参数配置。Tez Ranger 支持Impala权限控制。升级jackson...

EMR-4.6.x版本说明

本文介绍EMR-4.6.x发行版本的发布日期和更新内容等信息。发布日期 EMR-4.6.0 2021年1月15日 更新内容 服务 变更点 SmartData 升级至3.2.0版本。详情请参见 SmartData 3.2.x版本简介。Spark 升级至2.4.7版本。升级jQuery至3.5.1版本。兼容...

JindoFS实战演示

AI训练加速 文档链接 视频链接 视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的...

开源自建对比

基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE 内置K8s集群底座和微服务框架。运维成本 需要。需要。不需要。SAE 免运维。硬件成本 按峰值固定保有包年IaaS,...

新功能发布记录

本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档,帮助您了解E-MapReduce的发布动态。版本说明详情,请参见 版本概述。E-MapReduce的重要功能发布详情请参见 产品重大更新。2024年 2024年03月 功能名称 功能概述 发布时间 ...

三方开源大语言模型

本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息,计费情况等调用必备基础信息。基本信息 重要 三方开源大模型API调用需申请后开通体验,请点击“立即申请”,申请通过后才能调用。模型服务 模型名称 模型描述 特征 Llama...

Flink Python参考

背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本,关于Flink Python API的详细信息,请参见 Python API。使用Python依赖 通过以下场景为您介绍如何使用Python依赖:使用自定义的Python虚拟环境 使用第三方Python包 使用...

开通EMR Doctor(Hadoop集群类型)

功能介绍 EMR Doctor是开源大数据集群的管家,提供了一站式的智能诊断和优化服务。通过EMR Doctor,您可以高效地运维大数据集群和服务,持续的优化集群的资源使用率,使集群处于健康稳定的状态,更好的为上层业务提供计算服务。EMR Doctor...

Demo App《软件许可协议》

开源软件:指软件本身、或其他被集成的、该软件衍生的、与该软件共同发布的软件满足以下条件:1)以源码形式披露或发布;2)为生成衍生作品和/或发布衍生作品需要由使用者向第三方授权;或3)再发布免费,才能使用、修改和/或发布。保密...

生命周期策略

背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃发展的今天,新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现,已经投入使用的产品版本和形态会逐渐老化,...

生命周期策略

背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃发展的今天,新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现,已经投入使用的产品版本和形态会逐渐老化,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 检索分析服务 Elasticsearch版 微服务引擎 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用