迁移场景

开源软件开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息,请...

OpenLDAP

OpenLDAP是LDAP协议(Lightweight Directory Access Protocol)的开源实现,在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中,Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...

迁移概述

其中,软件迁移支持迁移自研软件开源软件:自研软件:指开发者开发的或者基于开源软件增强开发的软件。具体操作,请参见 源码迁移。开源软件:指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...

开源软件迁移

当前大部分应用系统都基于开源软件构建,并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...

产品架构

从上图可以看出EMR由四部分组成:社区开源产品 集成Apache社区开源大数据组件,例如Hadoop、Hive和HBase,随着EMR版本更新,开源软件也会相应的升级,详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...

应用市场

概述 应用市场的软件应用包括应用目录,应用目录中的软件是容器服务ACK基于开源软件做了适配和二次开发,其中包含了运行一个应用所需要的镜像、依赖和资源定义等。应用目录中有简介、安装步骤、参数配置项、注意事项等信息。您可以通过Helm...

阿里云RPA软件用户协议

4.开源软件,指软件本身、或其他被集成的、该软件衍生的、与该软件共同发布的软件满足以下条件:(a)以源码形式披露或发布;(b)为生成衍生作品和/或发布衍生作品需要由使用者向第三方授权;或(c)再发布免费,才能使用、修改和/或发布。5....

通过OSS SDK接入开源生态

开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 SparkThriftServer 操作列的>enableLDAP。...

E-MapReduce支持倚天云服务器

丰富的生态:倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构:基于2*50 GB网络架构提供大带宽以及超强转发能力,对比上一代CIPU架构,网络带宽提升1倍。安全增强:支持vTPM特性,依托TPM/TCM芯片,实现从服务器到...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 TrinoMaster 操作列的>enableLDAP。在弹出...

Spark对接Kafka

背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件,相关编程使用方法可参见官方相应文档。Spark官方文档:streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo:github地址。访问...

Sqoop概述

Sqoop是一款Apache社区的开源软件,支持在Hadoop生态软件和结构化数据集(例如数据库)之间进行高效的批量数据传输。背景信息 常见数据传输场景如下:将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...

创建EMR Studio集群

高级设置 软件自定义配置:可指定JSON文件对集群中的基础软件(例如Hadoop、Spark和Hive等)进行配置,详细使用方法请参见 软件配置。默认不开启。硬件配置。区域 配置项 描述 付费类型 付费类型 默认包年包月。当前支持的付费类型如下:...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce(简称EMR)的产品生命周期策略及产品终止策略(包含产品粒度与发行版本粒度),以便您知晓详细规则,提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

生命周期策略

本文为您介绍开源大数据开发平台E-MapReduce(简称EMR)的产品生命周期策略及产品终止策略(包含产品粒度与发行版本粒度),以便您知晓详细规则,提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...

什么是EMR Serverless Milvus

开源兼容性 100%兼容开源Milvus全托管服务,提供与原生软件交互性一致的产品使用体验,并默认提供开源可视化工具Attu。高安全性 基于阿里云专有网络(VPC)部署,提供专有网络访问,同时提供更细力度访问控制及更高安全等级保护。实例可...

什么是EMR on ECS

100%采用社区开源组件,适配并优化开源组件,性能远高于开源版本。基于时间的弹性伸缩能力,抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系,实现了资源的弹性利用。分钟级别创建和扩容集群,无需手动部署和启动服务。产品...

产品优势

特性 Lindorm文件引擎 开源HDFS 功能定位 分布式文件系统 分布式文件系统 HDFS兼容性 HDFS通信协议 支持 支持 基础读写接口 完整支持 完整支持 高级管理接口 完整支持 完整支持 成本 存储单价(实际费用以购买页面为准)最低0.12元/GB/月 ...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件,包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群(EMR on ECS和EMR on ACK)的计算引擎提交任务,并提供了交互式开发、任务调度和任务监控等...

Trino概述

Trino(即原PrestoSQL)是一个开源的分布式SQL查询引擎,适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino,之前各版本控制台显示为Presto,内核其实是Trino,使用时请注意区分。基本特性 Trino使用Java语言...

Presto概述

与EMR软件栈完美结合,支持DLF和OSS或OSS-HDFS。无需运维,EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog:一个Catalog可以包含多个Schema,物理上指向...

EMR-3.28.x版本说明

更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform,基于开源Flink 1.10深度定制,提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...

相关的云服务

本文为您介绍典型场景下,使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS(Elastic Compute Service)作为集群的节点,每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...

Lindorm for Cassandra应用实践

可调一致性(无需repair数据)服务模式 自建 集群托管或者Serverless可选 可靠性 无SLA保障,开源软件BUG需要自行修复。SLA保障,并具备主备双活、备份、异地容灾等能力。冷热分离 不支持 透明冷热分离降低成本 全文检索 不支持 兼容CQL...

概述

Flink(VVR)是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,且提供GeminiStateBackend等高增值功能,以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布...

Hadoop集群迁移至DataLake集群

(可选)软件自定义配置 如果您导出了旧平台集群中的服务配置,或计划在创建集群流程中预置配置,则可以在新平台集群创建流程中开启软件自定义配置,并将编辑好的配置粘贴输入框中,详细使用方法请参见 配置自定义软件。硬件配置 在 查看...

Kafka Manager

说明 当选择了Kafka服务,系统将默认安装Kafka Manager软件服务,并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时,当前版本的Kafka Manager是没有提供限流功能的。如果需要限流,您可以通过 ...

Kerberos概述

在这种高安全级别的集群中,所有开源组件均采用Kerberos安全模式启动,确保只有经过Kerberos认证的客户端能够访问集群提供的服务(例如HDFS)。背景信息 集群开启Kerberos之后:客户端:可以对可信任的客户端提供认证,使得可信任客户端...

功能特性

EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架,以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群,可以释放资源...

HBase Thrift Server

背景信息 Thrift是一个可伸缩,跨语言服务RPC框架,集成了强大的软件堆栈及代码生成引擎,使得各种语言做到无障碍,高效通信,目前支持C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Go、Cocoa、JavaScript、Node.js和...

通过客户端方式连接StarRocks实例

使用开源MySQL客户端连接StarRocks 步骤一:下载MySQL客户端并安装数据库 下载 MySQL客户端。执行以下命令,解压缩安装包。tar-zxvf mysql-5.6.40-linux-glibc2.12-i686.tar.gz 执行以下命令,复制解压后的mysql目录到系统的本地软件目录。...

通过SSH隧道方式访问开源组件Web UI

在E-MapReduce(简称EMR)集群中,为了确保集群安全,Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制,您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...

基础使用

写数据 环境配置 EMR-3.32.0以及后续版本中,已经将Hudi相关依赖集成到各个开源组件中,包括Spark、Hive和Presto,因此运行时不需要引入额外的Hudi依赖,只需要在pom文件中添加Hudi依赖即可。不同的EMR版本使用的Hudi版本不同,详细信息请...

StarRocks概述

说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库,以及分布式系统的设计思想,其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...

快速使用EMR on ACK

关于Spark的更多介绍,可以参见开源文档 Quick Start,选择适合您的语言和版本。提交作业的详细信息请参见:提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群,详情请参见 获取集群KubeConfig并通过...

什么是EMR Serverless StarRocks

EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务,您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎,提供了极致的性能和丰富的OLAP场景模型,...

产品优势

兼容开源:云消息队列 Kafka 版 100%兼容开源Apache Kafka,您可以直接使用开源Apache Kafka客户端与 云消息队列 Kafka 版 通讯。云消息队列 Kafka 版 目前支持0.10.x~2.6.x的开源版本。无缝迁移:云消息队列 Kafka 版 基于现有的开源...

合作伙伴及开源生态

技术合作伙伴 开源技术社区 开源项目布局 2018 年 4 月,蚂蚁集团宣布开源 SOFAStack 金融级分布式架构。得益于社区的信任和支持,目前已经累积超过 2.5 万的 Star 数和超过 100 家企业用户,并持续朝打造金融级云原生多个技术领域的标杆...

开源MQTT托管设备认证

本文介绍 MQTT型 实例中直连设备使用开源MQTT协议通过自定义认证信息(Username、Password、SN)进行注册认证的流程。背景信息 仅需要使用MQTT连接和消息上下行的场景中,为降低...通信原理与云网关设备通信原理相同,请参见 消息通信说明。
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 检索分析服务 Elasticsearch版 短信服务 弹性公网IP 人工智能平台 PAI 金融分布式架构
新人特惠 爆款特惠 最新活动 免费试用