工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖...填写作业名称、作业描述，作业类型选择 zeppline、单击 确定 编辑调度 Notebook、单击保存 使用作业调度Notebook有2种方式 方式一：使用OSS路径调度Notebook oss:/ddi-...
计算资源使用
配额组（Quota）是MaxCompute的计算资源池，为MaxCompute中的计算作业提供所需计算资源（CPU及内存）。在MaxCompute中支持根据计算作业对计算资源的需求，指定匹配的Quota，...如上规则项也可以结合起来使用，实现更细粒度的作业调度控制。
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
使用Kettle调度MaxCompute
步骤三：创建作业调度流程 您可以在Spoon界面的 核心对象 页签通过创建、关联核心对象（作业）的方式构造作业调度流程。此处以通过LOAD命令从OSS加载数据，并写入MaxCompute内部表的ETL过程为例为您介绍操作流程，对应示例数据请参见 通过...
Quota管理（新版）
如果有多个交互式Quota，MCQA作业默认调度到最早创建的交互式Quota里执行，因此需要结合Quota规则，可以实现不同Project发起的MCQA作业调度到不同的交互式Quota里执行，Quota规则详情请参见 Quota规则。单击 确定。配置Quota计划。新增的...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
使用插件部署混合云集群
打开 云上代理节点 代理节点可感知作业调度状态，用于弹性伸缩等场景。请根据自身业务负载情况选择合适的规格，建议选择2 vCPU，4 GiB内存及以上规格。ecs.c7.large VPC、交换机 选择集群所属的VPC和交换机。请请确保交换机下的IP地址空间...
使用ECI弹性调度Spark作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Spark作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Spark作业。背景信息 如果您需要使用更...
使用ECI弹性调度Flink作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Flink作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Flink作业。背景信息 如果您需要使用更...
功能特性
均衡型资源调度可以最大化追求更稳定的系统表现，优先从未分配资源或已分配资源较少的主机中分配资源。资源调度 管理集群 混合部署 支持应用与数据库混合部署 MyBase托管版开放了数据库实例所部署主机的一部分OS权限，在实例主机上，您可以...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
定期调度Zeppelin中的作业
当您在Zeppelin里完成作业开发后，您就可以通过Airflow定期调度作业。本文为您介绍如何使用Airflow调度作业。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和8443端口。添加安全组规则，详情...
DataStudio概述
本文为您介绍什么是DataStudio，以及DataStudio支持的Hologres节点功能。简介 DataWorks基于Hologres、MaxCompute等大数据计算引擎，为您...一键表数据同步 您可以使用DataStudio导入MaxCompute数据至Hologres，并可以提交调度周期性作业。
定期调度Jupyter中的作业
当您在Jupyter里完成作业开发后，您就可以通过Airflow定期调度作业。本文为您介绍如何将Jupyter中编写的Notebook，生成调度任务并定时执行。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和...
使用 Gang Scheduling
ACS 为作业调度场景提供了 Gang Scheduling 能力，满足作业调度场景 All-or-Nothing 需求。本文介绍如何使用 Gang Scheduling。功能介绍 作业（Job）一般会创建多个 Pod，并且这些 Pod 需要协调一致地启动运行。这要求在调度时一定要按照一...
功能特性
单元化架构 任务调度支持单元化架构，在单元化架构下，任务调度可以识别到任务客户端所在的单元信息，指定单元进行任务触发。具体架构实现流程如下：客户端连接所有的 server，注册连接时携带单元信息。服务端任务触发时，会根据启动的单元...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
调度任务
手动调度 不仅手动调度可以手动发起调度，周期调度、触发调度也支持手动发起调度。单击 手动调度，即可手动发起一次调度。查看执行结果 调度任务执行至少一次后，列表将显示最近一次执行的状态（执行成功/执行失败）。说明 若执行失败，可...
CancelDNAJob-取消DNA作业
建议先调用更新管道接口（UpdatePipeline）将管道状态置为 Paused，暂停作业调度，再调用取消作业接口取消作业；取消完后需要恢复管道状态为 Active，管道中的作业才会被调度执行。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
拓扑感知调度
在 容器服务 Kubernetes 版 中，可以结合Gang调度能力以及拓扑感知调度能力，实现Pod在多个拓扑域中重试，直到找到一个能够满足整个作业拓扑域的功能。更进一步，可以结合 容器服务 Kubernetes 版 的节点池以及ECS的部署集能力，将Pod调度...
设置调度器参数
调度器是集群上调度作业的软件，负责分发作业、处理作业优先级、按需分配计算节点资源（如vCPU、内存、节点个数）等。您可以根据作业大小，预估使用的节点资源和作业完成时间，设置集群的调度器参数，从而提高资源使用率。本文介绍如何在...
配置示例：MaxCompute
数据质量的关联调度可以关联单个或多个节点任务，关联调度完成后，离线数据质量监控任务可以自动运行。说明 数据质量的关联可以灵活配置，您关联的任务并非一定与您的表有关系。在相应表的监控规则页面，单击 关联调度，配置规则与任务的...
任务管理
时间片轮转调度可以避免这个问题。基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级...
BUILD
当需要按业务紧急程度调度BUILD任务时，可以通过Hint或者 SET ADB_CONFIG 调整单表或多表BUILD调度的优先级。重要 仅3.1.5.0及以上版本的集群支持配置BUILD调度的优先级。如何查看集群内核版本，请参见 如何查看实例版本信息。如需升级内核...
工作流使用案例
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...
EMR控制台管理YARN分区
重要作业保障 如果不希望重要作业被调度到弹性节点，可以为非弹性节点配置单独的分区，让重要作业使用该分区（此处针对少数不希望因为缩容而被延迟的重要作业）。借助YARN分区管理能力，运维人员可以根据节点的特性（角色定位、处理能力）...
提交作业
执行命令 向调度器提交的作业执行命令，可以是脚本文件（如/home/test 目录下的job.pbs文件），也可以是一段命令文本。有以下两种情况：脚本文件可执行，可填写相对路径，如./job.pbs。脚本文件没有可执行权限，则需要填写执行命令，如：/...
通过控制台提交作业
作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC...
MaxCompute分区表数据导入
在日常工作中会经常需要进行数据导入，此时可以借助DataWorks的强大调度和作业编排能力，实现周期性调度，配置一个调度作业覆盖数据导入两个场景，详情请参见 DataWorks作业案例。考虑到作业较为复杂，所以可以利用DataWorks的迁移助手功能...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
SubmitIProductionJob-提交智能生产作业
{"Model":"gif"} ScheduleParams string 否 作业调度参数，设置任务调度配置（非必填，保持为空即可）。null NotifyUrl string 否 Callback 路径，目前仅支持 MNS 消息队列。消息队列的路径可以通过 MNS 控制台>队列列表>详情查看。mns:/...
作业编辑
在项目中，您可以通过创建作业来进行任务开发。本文为您介绍作业编辑相关的创建、设置和运行等操作。背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 ...
管理作业
在项目中，您可以通过创建作业来进行任务开发。本文为您介绍如何创建作业、设置和删除作业。前提条件 已创建项目，详情请参见 新建项目。创建作业 进入 项目空间 页面。使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察...
入门概述
创建作业 作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。您可以在集群中使用GROMACS软件运行水分子算例。查看作业结果 您可以在E-HPC管理控制台查看...
DMS作业调度
本文介绍 AnalyticDB PostgreSQL版 如何通过DMS的作业调度功能，实现定时调度RDS PostgreSQL数据库的数据。功能介绍 本次作业调度使用OSS作为中间态的存储，调度任务会将数据从RDS PostgreSQL数据库加载到OSS上，再使用 AnalyticDB ...
新用户必读
作业调度：云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）具备离线SQL应用、Spark应用的作业调度能力，帮助您完成复杂的ETL数据处理。SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB ...
开发ODPS MR任务
MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在DataWorks中，您可以通过ODPS MR节点实现MaxCompute MapReduce任务的调度运行，以及与其他...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
开发ODPS MR任务
MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在DataWorks中，您可以通过ODPS MR节点实现MaxCompute MapReduce任务的调度运行，以及与其他...
- 产品推荐
- 这些文档可能帮助您