开源版和商业版介绍
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
三方开源大语言模型
Llama 2系列使用了2T token进行训练，相比于llama多出40%，上下文长度从llama的2048升级到4096，可以理解更长的文本，在多个公开基准测试上超过了已有的开源模型。采用了高质量的数据进行微调和基于人工反馈的强化学习训练，具有较高的可靠...
合作伙伴及开源生态
（数据统计截止时间为 2021 月 7 月 22 日）SOFAStack 目前涵盖的开源项目有：主要项目：基于 Spring Boot 的研发框架 SOFABoot、生产级 Java RPC 框架 SOFARPC、分布式链路跟踪系统 SOFATracer、高可用服务注册中心 SOFARegistry。...
什么是EMR Serverless Milvus
您还可以利用开源的Attu工具进行可视化操作，进一步促进应用的快速开发和部署。背景信息 Milvus是一款云原生开源向量检索引擎，基于Faiss、Annoy、HNSW等知名库构建，并进行了优化，实现了高可用、高性能、易扩展的特性，适于处理海量向量...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
OpenLDAP
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
ClickHouse概述
EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础上优化了ClickHouse的读写性能，提升了ClickHouse与EMR其他组件快速集成的能力。特性 特性 描述 列式...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
如何解决MSE Nacos开源控制台无法使用问题
可能原因 MSE Nacos在开启鉴权功能时，使用的是 阿里云RAM控制台，不支持开源的默认鉴权插件。在开启RAM鉴权后，开源控制台也因为缺少RAM用户信息，导致控制台无法使用。关于MSE Nacos鉴权功能的详细信息，请参见 Nacos Client访问鉴权。...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
JindoFS实战演示
AI训练加速 文档链接 视频链接 视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的...
概述
MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...
管理任务
保存工作流后，您可以对已有的任务定义和任务实例进行操作。本文为您介绍如何管理任务定义和任务实例。任务定义操作 在 任务定义 页面，您可以执行以下操作。操作 说明（版本）只能切换至处于下线状态的任务定义。（删除）只能删除处于下线...
管理用户
在弹出的对话框中，选择已有的RAM用户作为Notebook用户的名称，单击 添加用户。说明 添加后，该用户拥有使用该工作空间下所有功能的权限。删除用户 在 工作空间设置 页面的 用户 页签，单击待删除用户操作列的 删除。在弹出的对话框中，...
欠费说明
计费方式 欠费策略 包年包月 对于包年包月集群，您已经预先支付了费用，因此账号欠费后，您可以正常使用已有的包年包月资源。但对于新购实例、续费订单等涉及费用的操作，您无法正常进行。包年包月集群根据您购买时选择的时长有相应的使用...
概述
例如，您可以通过定义窗口来收集过去1分钟内某网站的用户点击量，并对这个窗口内的数据进行计算。Spark SQL流式处理支持两类窗口：滚动窗口（TUMBLING）滑动窗口（HOPPING）时间属性 Spark SQL支持Event Time时间属性，对数据进行窗口内...
Flink Python参考
背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本，关于Flink Python API的详细信息，请参见 Python API。使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用...
EMR Workflow公测说明
重要 公测期间您可以免费试用EMR Workflow服务，但EMR Workflow工作流运行时需要关联EMR集群，创建或使用已有的EMR集群会产生EMR和ECS等费用，详情请参见 计费项。公测限制 公测期间，有以下限制：免费提供1CU调度资源，建议并发执行任务数...
Gateway实例说明
它可以作为一个独立的作业提交点，关联到已有的集群。本文为您介绍如何在已有的EMR集群基础上创建Gateway集群和Gateway节点组。Gateway集群或Gateway节点组通常是一个独立的集群或节点组，由多台相同配置的Gateway实例组成，集群上会部署...
管理DAG
您可以对已有的DAG进行相应的操作。方式二：在Airflow Web UI页面管理DAG 警告 在Code Editor中修改提交会直接作用在OSS上的对应文件上，不建议在生产环境中使用Code Editor，避免操作失误造成损失。可以在开发或测试中使用Code Editor，以...
产品优势
云消息队列 Kafka 版 100%兼容开源，支持0.10.x~2.6.x的开源版本，无需代码改造无缝迁移上云，体验全托管、免运维的分布式消息队列服务。开箱即用 云消息队列 Kafka 版 100%兼容开源，使您无缝迁移上云。兼容开源：云消息队列 Kafka 版 100...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
EMR Notebook公测说明
重要 公测期间您可以免费试用EMR Notebook服务，但EMR Notebook工作流运行时需要关联EMR集群、添加EMR集群下的数据源，创建或使用已有的EMR集群会产生EMR和ECS等费用，详情请参见 计费项。公测限制 公测期间，有以下限制：指定地域如果创建...
创建集群模板
集群模板资源组：根据实际需求选择已有的资源组，或者单击 创建资源组 来新建资源组，以便对模板进行有效的分组管理。管理集群模板 面板中，为您展示了当前地域和资源组下的集群模板列表。参数 说明 模板ID 系统自动生成。模板名称 您...
Hive开发手册
您可以关联一个已有的集群，也可以自动按需创建一个，然后关联上创建的作业。示例2 以 HiBench 中的scan为例。编写如下脚本，上传至OSS。USE DEFAULT;set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;set mapreduce....
创建Data Science集群
ACK集群 选择已有的ACK集群，或者在容器服务ACK控制台新建ACK集群。说明 Data Science集群会使用如下命名空间（Namespace），包括anonymous、cert-manager、fluid-system、ingress-nginx、istio-system、knative-serving、kubeflow、...
创建集群
ACK集群 选择已有的ACK集群，或者在容器服务ACK控制台新建ACK集群。单击 配置专属节点，可以配置EMR专属节点。配置专属节点可以对节点池或节点打上EMR专属的污点和标签，被配置的节点池或节点只能用于EMR。说明 推荐您使用节点池的方式来...
管理网络配置
修改网络配置 在Notebook使用过程中，如果您需要绑定使用其他VPC下的外部集群或其他VPC下的数据库，可以修改已有的网络配置。在 Notebook 页面，单击 控制台 或者工作空间名称。在E-MapReduce Notebook页面，单击左侧的（工作空间设置）...
管理安全组
背景信息 您在创建E-MapReduce集群时，可以使用已有的安全组或者新建安全组，对某个安全组下的所有ECS实例的出方向和入方向进行网络控制。您可以将ECS实例按照功能划分，放于不同的安全组中。例如，通过E-MapReduce创建的安全组为E-...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
SHELL
通过使用变量，您可以更方便地复用已有的任务，或者适应动态的需求。在本例中，先自定义了VARCHAR类型的参数DD，将参数值设置为 this is a test，然后在脚本声明了echo命令 echo"hello world,${DD}。当我们保存并运行任务后，在日志中会...
管理手动任务
在 运行手动任务 对话框中，选择已有的 调度资源组，系统会根据您选定的调度资源组自动匹配 执行集群，单击 确定。手动任务定义操作 在 手动任务定义 页面，您可以进行以下操作。操作 说明（编辑）只能编辑未被上线状态的工作流关联的手动...
在Hue WebUI使用编辑器
可以查看已有的数据库列表,返回如下图所示信息。在Hive语句编辑区输入以下语句，创建表格。CREATE TABLE IF NOT EXISTS `store_sales`(`ss_sold_date_sk` bigint,`ss_sold_time_sk` bigint,`ss_item_sk` bigint);单击 图标，开始执行Hive...
管理LDAP认证
在 添加用户 对话框中，在 用户名 下拉列表中，选择已有的RAM用户作为EMR用户的名称，输入 密码 和 确认密码。单击 确定。添加用户更多详情，请参见 添加用户。开启LDAP认证。单击 集群服务 页签。在 集群服务 页面，单击Impala服务区域的 ...
添加开源Elastic Search数据源
通过开源Elastic Search和DataV结合使用，...在 选择已有数据源 列表中选择配置完成的开源Elastic Search数据源。在 index 输入框中填写查询索引。在 Query 输入框中填写查询体，查询体为JSON对象。单击 查看数据返回结果，查看数据返回结果。
- 产品推荐
- 这些文档可能帮助您