通过OSS SDK接入开源生态
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
迁移概述
其中，软件迁移支持迁移自研软件和开源软件：自研软件：指开发者开发的或者基于开源软件增强开发的软件。具体操作，请参见 源码迁移。开源软件：指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
管理手动任务
如果其他参数中引用了资源文件，需要选择在 资源中心 的 文件管理 页面，创建或者上传的文件。自定义参数 任务自定义参数，会替换脚本中${变量} 的内容。更多参数配置信息，请参见 参数说明。在 手动任务定义 页面，单击目标任务操作列的...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
Kafka常见问题
是否可以停止Kafka-Manager服务 Kafka-Manager只是Kafka集群的管理软件，Kafka对外提供读写服务不依赖Kafka-Manager服务。如果您没有集成其他Kafka管理平台，建议您保留Kafka-Manager服务。如果您确认不需要Kafka-Manager服务，您可以直接...
E-MapReduce支持倚天云服务器
丰富的生态：倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构：基于2*50 GB网络架构提供大带宽以及超强转发能力，对比上一代CIPU架构，网络带宽提升1倍。安全增强：支持vTPM特性，依托TPM/TCM芯片，实现从服务器到...
管理LDAP认证
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的>enableLDAP。在弹出...
Workflow 新增工作空间管理
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以...产品文档 管理工作空间
资源中心
当您在调度过程中需要使用第三方的JAR或者需要自定义脚本时，可以在文件管理页面进行相关操作。本文为您介绍如何创建文件和上传文件。使用限制 每个账号在每个地域的资源中心，允许的文件上传总量上限为5 GB。创建文件 进入资源中心页面。...
支持管理健康检查项
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。...产品文档 管理健康检查项
集群节点供应支持尽力交付模式
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的...产品文档 管理尽力交付
支持创建Gateway类型节点组
集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机 适用客户 全网用户 新增功能/规格 集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机...产品文档 管理节点组
OSS参考使用说明
此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片管理中，所以您不仅要删除OSS文件管理中的作业残留文件，还需将OSS碎片管理中的文件碎片清理一次，否则会产生数据存储...
IMPALASHELL
IMPALASHELL任务类型用于提交Impala任务...如果其他参数中引用了资源文件，需要选择在 资源中心 的 文件管理 页面，创建或者上传的文件。自定义参数 任务自定义参数，会替换脚本中${变量} 的内容。前置任务 设置当前任务的前置（上游）任务。
REMOTESHELL
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
安装开源DedeCMS
织梦内容管理系统DedeCMS是一款简单、实用的PHP开源网站管理系统，您可以使用该系统搭建个人网站或中小型门户网站。本文以Linux独享虚拟主机高级版为例，介绍在云虚拟主机上安装开源DedeCMS的方法。前提条件 已购买并初始化云虚拟主机。...
HIVECLI
如果其他参数中引用了资源文件，需要选择在 资源中心 的 文件管理 页面，创建或者上传的文件。自定义参数 任务自定义参数，会替换脚本中${变量} 的内容。前置任务 设置当前任务的前置（上游）任务。任务示例 使用脚本输入 该示例演示了如何...
开源版和商业版介绍
选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离、SOFA-RPC 等能力。适合寻求开源解决方案。开源版参考文档。商业版本 除了开源版能力，还对接服务注册中心，支持消息、分布...
SHELL
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
OSS/OSS-HDFS快速入门
本文为您介绍如何快速访问OSS/OSS-HDFS。前提条件 开通OSS服务。创建存储空间。确认OSS授权。EMR集群（新版控制台）中使用，已默认开通。...单击左侧的 文件管理>文件列表。单击 OSS文件 或 HDFS 页签，通过OSS文件或HDFS来访问OSS/OSS-HDFS。
FLINK
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
HDFS概述
基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
功能特性
商业版特性相关文档 功能模块 文档 网格管理 启用Multi-Buffer实现TLS加速 ASM网关 为域名添加证书 为ASM网关启用压缩 增强ASM网关高可用性 流量管理 使用ASM本地限流功能 使用ASM路由级熔断功能 使用优雅下线功能避免流量损失 使用ASM网关...
新功能发布记录
新增 利用RAM角色实现跨账号访问ACM 2018-10-13 功能名称 功能描述 功能类型 相关文档 兼容开源版Nacos配置管理的接口 ACM全面兼容开源版Nacos配置管理的接口，使用Nacos客户端可以直接连接ACM服务，支持Spring、Spring Boot、Spring Cloud...
开源自建对比
您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。...开源文档请参见 OpenLDAP。
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
应用市场
Helm是Kubernetes服务编排领域的开源子项目，是Kubernetes应用的一个包管理工具，Helm通过软件打包的形式，支持发布的版本管理和控制，简化了Kubernetes应用部署和管理的复杂性。概述 应用市场的软件应用包括应用目录，应用目录中的软件是...
管理中心功能概览
在DataWorks的 管理中心，用户可以按照 工作空间维度 进行操作，包括配置工作空间的基本设施、选择合适的计算引擎、接入不同的数据源、注册开源集群、配置扩展程序，以及管理工作空间成员的权限和角色；此外，用户还可以在 全局维度 进行...
新功能发布记录
新增 弹性TPS计费 实例管理 2022-12-22 功能名称 功能描述 功能类型 相关文档 Exchange管理 云消息队列 RabbitMQ 版 兼容开源RabbitMQ支持的x-consistent-hash类型Exchange，无需安装插件，您只需声明该类型Exchange即可使用。新增 ...
Spark对接Kafka
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
开源项目
项目分类 项目名称 项目简介 项目地址 参考文档 核心组件 Kubernetes Cloud Controller Manager for Alibaba Cloud 为Kubernetes应用创建负载均衡，管理节点路由条目。Cloud-Provider-Alibaba-Cloud Cloud Controller Manager 网络 Terway ...
提交Flink作业
kubectl apply-f basic-emr-example.yaml-namespace<集群对应的namespace>说明 本文示例代码中的<集群对应的namespace>，需要替换为集群的命名空间，您可以登录E-MapReduce on ACK控制台，在集群管理页面查看。相关文档 查看Flink作业日志...
管理Databases
本文为您介绍如何在阿里云Milvus中有效地管理Databases（数据库），其操作方式与传统数据库引擎类似。您不仅能够在阿里云Milvus中创建多个...db.drop_database("milvus_demo")相关文档 关于管理权限的详细内容，请参见 管理用户和角色。
概述
Druid segments（Druid索引文件）管理层涉及以下组件：Zookeeper：负责存储集群的状态以及作为服务发现组件。例如集群的拓扑信息、overlord leader的选举、indexing task的管理等。Coordinator：负责segments的管理。例如segments下载、...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
- 产品推荐
- 这些文档可能帮助您