Java任务
MapReduce：常规MapReduce模型任务，支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务在100万以下时选择。分片运行：包括静态分片和动态分批，用于处理大数据业务需求。单机 和 广播 需要实现JavaProcessor；可视化...
常见问题
实际的任务并行度参照如下的计算公式 concurrent_num=Min(Min(partition_num,Min(desired_concurrent_num,alive_be_num)),Config.max_routine_load_task_concurrent_num)。max_batch_interval properties 10s Routine Load任务调度周期。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
导入结构和数据
最大支持 5 个导入任务并行运行，后续任务在队列中等待运行。导入任务涉及的文件默认保留 14 天。在 ODC V4.1.0 之后的版本，针对 OceanBase 数据源，配置 sys 租户账号可以提升导入速度。新建导入任务 示例：将本地磁盘中表 employee 和 ...
迁移方案
通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行一段时间，满足数据对比条件后，验证新任务和原有任务的数据产出是否一致，达到预期的数据质量。理想情况下，迁移的新任务数据产出和原任务完全一致，就无需进行额外的差异...
如何解决全量迁移慢或迁移卡住
说明 多任务并行可能造成一时性的资源紧张，建议分批分时段建立任务。排查账号密码准确性：检查源库的用户名及密码是否正确。使用配置任务时指定的用户名和密码从远程连接访问源库，测试数据库能否连通。以MySQL数据库为例，建立连接的命令...
Designer计费示例
计算子任务的费用时，请参见 Designer计费说明。子任务计算时数量=max(Core数量×时长,内存×时长/4)=max[49×1×(26/3600),49×1×(26/3600)/4]≈0.35计算时 即该子任务约消耗了0.35计算时。计算子任务的费用。子任务费用=子任务计算时...
导出结构和数据
最大支持 5 个导出任务并行运行，后续任务在队列中等待运行。导出任务涉及的文件默认保留 14 天。在 ODC V4.1.0 之后版本，针对 OceanBase 数据源，配置 sys 租户账号可以提升导出速度。同时导出除表、视图之外的其它对象时不再要求必须...
并发数和构建时长
计费规则 流水线是由多个任务组成，而一个任务则是由多个步骤组成 如下图所示，该流水线包含两个任务：Java 构建上传 主机部署 而”Java 构建上传”任务包含两个步骤：Java 构建 构建物上传 Flow 根据 任务 的运行状态来统计企业并发数和...
快速开始
records_threshold_for_mpp 若查询语句中存在扫描记录超过该阈值的表，优化器会考虑将单机并行弹性扩展为多机并行，将并行任务调度到多个节点上同时完成计算。默认值为records_threshold_for_parallelism的N倍，N值为当前集群地址内的节点...
识别规则及识别方式
调度任务并行度 用于控制同时扫描的资产对象数量，默认为16，支持配置1~100的正整数。说明 增大并行度可加快扫描进度，但会占用更多的集群计算资源，请您根据业务需求进行合理配置。调度黑名单 默认关闭，开启后，可以设置调度黑名单，在...
Java任务
MapReduce：常规MapReduce模型任务，支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务在100万以下时选择。分片运行：包括静态分片和动态分批，用于处理大数据业务需求。单机 和 广播 需要实现JavaProcessor；可视化...
Java任务
MapReduce：常规MapReduce模型任务，支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务在100万以下时选择。分片运行：包括静态分片和动态分批，用于处理大数据业务需求。单机 和 广播 需要实现JavaProcessor；可视化...
迁移方案
通常，建议您采用迁移新任务和原有任务并行双跑的方式，在新运行一段时间，满足数据对比条件后，验证新任务和原有任务的数据产出是否一致，达到预期的数据质量。理想情况下，迁移的新任务数据产出和原任务完全一致，就无需进行额外的差异...
计费逻辑说明
资源费用明细：数据质量 数据质量根据任务实例（周期调度实例、补数据实例等）触发的数据质量规则实例个数 和产生的报警短信和报警电话 进行计费，费用详情如下表。计费项 计费方式 计费项说明 其他说明 数据质量规则实例个数 按量付费 ...
识别规则及识别方式
调度任务并行度 用于控制同时扫描的资产对象数量，默认为16，支持配置1~100的正整数。说明 增大并行度可加快扫描进度，但会占用更多的集群计算资源，请您根据业务需求进行合理配置。调度黑名单 默认关闭，开启后，可以设置调度黑名单，在...
GetJobInfo-获取指定Jobid任务详情
获取指定Jobid任务详情，通常用来更新任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
流水线任务 jobs
如：jobs:my_job:name:我的任务 runsOn:public/cn-beijing stages.<stage_id>.jobs.<job_id>.needs非必填，默认一个阶段内的所有任务并行执行。若任务间有依赖关系，可通过 needs 描述阶段内的任务依赖关系。注意：needs 支持跨阶段的任务...
自定义流水线阶段
自定义阶段和 构建应用 阶段也可添加并行任务，自定义并行任务。在流水线中，选择需要自定义阶段的位置，单击，打开 阶段配置 对话框。在 阶段配置 对话框中，配置相关参数。参数名称 子参数名称 参数说明 阶段名称-构建阶段标题名称。超时...
ListJobs-获取任务列表
获取任务列表。接口说明 在调用该接口前，需要在POM文件添加以下依赖：<dependency><groupId>com.aliyun</groupId> <artifactId>aliyun-java-sdk-schedulerx2</artifactId> <version>1.0.5</version> </dependency>调试 您可以在OpenAPI ...
Hive作业调优
设置true时，表示允许任务并行运行。hive.exec.parallel.thread.number 默认值为8。表示允许同时运行线程的最大值。Fetch task 您可以通过设置以下参数，在执行查询等语句时，不执行MapReduce程序，以减少等待时间。参数 描述 hive.fetch....
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
任务运行诊断
独享调度资源组最大支持的任务并行数，与您所购买的资源组规格有关。独享调度资源组各规格支持执行的任务数，详情请参见 独享调度资源组。检查任务执行情况 当满足以上运行条件时，DataWorks会将任务下发至对应的执行资源或服务上执行。...
Hive数据导入
并行任务数 默认并行任务数为1，并行任务数上限为8。调高该值后，会同时启动多个迁移任务，每个任务迁移一张表。但是每个任务至少需要4 ACU，如果ACU数较少，则迁移任务将串行执行。高级配置 高级配置可以让您对同步任务进行个性化的配置。...
计费说明
本文介绍云效的计费规则。资费套餐 云效开放所有基础功能不限人数，免费使用，高级版功能更丰富，容量更充足。套餐类型 基础版，免费使用 高级版，立即购买 资费 0 元/人/年 618 元/人/年 基础功能 不限人数 包含基础版所有功能 代码管理 ...
应用场景
云工作流（CloudFlow）用于协调分布式应用和微服务以构建复杂多步骤的、异步调用任务以及长时间运行的业务流程。事务型业务流程编排 复杂的业务场景如电商网站、酒店和机票预定等应用通常要访问多个远程服务，并且对操作事务性语义（即所有...
管理任务
完成任务发布后，您可以对创建任务的发布计划进行配置，支持启动任务运行、编辑运行周期、查看执行记录、暂停周期调度和下线任务等。查看任务运行状态 任务发布后，在数据准备列表页，您可以查看新创建任务的运行相关状态。发布状态 发布...
2019年
并行任务子任务列表不能重试子任务。无 1.0.6-compatible，2019-07-02 变更类型 功能描述 相关文档 优化 兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 schedulerx-worker 两个包，只能依赖 schedulerx-...
矢量金字塔
指定构建矢量金字塔的并行任务数，默认为0（表示并行最大化）。并行任务数最大不应该超过CPU数量的4倍。并行构建使用了两阶段事务机制，需要设置数据库max_prepared_transactions参数，需要设置max_prepared_transactions=100或者更高，...
矢量金字塔
指定构建矢量金字塔的并行任务数，默认为0（表示并行最大化）。并行任务数最大不应该超过CPU数量的4倍。并行构建使用了两阶段事务机制，需要设置数据库max_prepared_transactions参数，需要设置max_prepared_transactions=100或者更高，...
矢量金字塔
指定构建矢量金字塔的并行任务数，默认为0（表示并行最大化）。并行任务数最大不应该超过CPU数量的4倍。并行构建使用了两阶段事务机制，需要设置数据库max_prepared_transactions参数，需要设置max_prepared_transactions=100或者更高，...
DataWorks On Hologres使用说明
类别 说明 费用说明 在DataWorks上进行Hologres任务开发，除DataWorks侧产品费用外，还会产出其他产品侧费用。环境准备 在DataWorks上进行Hologres任务开发前，您需根据业务需求购买相应DataWorks版本及所需资源组，并完成相关 Hologres...
DataWorks On MaxCompute使用说明
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
计量计费
费用计算规则 MaxCompute SQLML底层的机器学习能力，是通过阿里云 人工智能平台 PAI 产品独立计费的，所以MaxCompute SQLML费用分为以下两部分：SQL作业：计算费用和存储费用按照MaxCompute SQL计费规则计费，请参见 计费项与计费方式概述...
什么是基因分析平台？
提供计算侧的文件访问缓存加速，支持计算作业直接读写OSS文件，解决并行任务的I/O和吞吐问题 大规模并行计算调度，提供容器/虚拟机执行环境，支持多种异构计算，加速基因分析。工程化的流程执行引擎，支持GA4GH标准（WDL/CWL）,无需迁移...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
GetJobInfo
调用GetJobInfo获取指定Jobid任务详情，通常用来更新任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
历史记录
并行任务子任务列表不能重试子任务。1.0.6-compatible，2019-07-02 优化：兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 schedulerx-worker 两个包，只能依赖 schedulerx-worker 一个包，即需要把DTS所有...
- 产品推荐
- 这些文档可能帮助您