Transaction Table2.0概述
而MaxCompute近一年在离线批处理计算引擎架构上，自研设计开发的增量数据存储和处理架构，同样可提供离线&近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
Cromwell 工作流引擎支持
Cromwell 是 Broad Institute 开发的工作流管理系统，当前已获得 阿里云批量计算服务 的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业（Job）运行。用户将为作业运行时实际消耗的计算和存储资源付费，不需要支付...
作业类型
本文将向您介绍批量计算产品中涉及的几种作业类型，以便于您更好地选择批量计算产品。背景 批量计算依据您使用集群方式的区别，将作业分为固定集群作业，自动集群作业，组合集群作业三种类型。下面分别介绍三种作业的优缺点，您可依据业务...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
批量删除作业
1 背景 由于历史原因，提交了大量的批量计算 DAG 作业，但是作业没有及时清理；或者单次提交了大量的作业，需要做清理操作。目前批量计算控制台支持单页批量删除，但若存在几十页作业的情况，清理动作也比较麻烦。因此提供了一个批量清理...
名词解释
批量计算支持能以有向无环图 DAG（directed acyclic graph）形式描述的作业。任务间的依赖关系只能在作业提交时指定，提交完成后不能修改。实例 每个任务可以有一个或多个执行实例（Instance）。同一任务的各个实例并行处理各自的输入数据...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。...实时计算与批量计算相比存在哪些差异？
云产品事件触发器概述
批量计算事件 批量计算事件类型包括Job已取消事件、Instance已经Ready事件和Project创建事件等。弹性伸缩事件 弹性伸缩事件类型包括阿里云平台对资源执行的操作事件、API调用和控制台的操作事件等。资源编排事件 资源编排事件类型包括资源...
云产品事件触发器概述
批量计算事件 批量计算事件类型包括Job已取消事件、Instance已经Ready事件和Project创建事件等。弹性伸缩事件 弹性伸缩事件类型包括阿里云平台对资源执行的操作事件、API调用和控制台的操作事件等。资源编排事件 资源编排事件类型包括资源...
计算成本控制
MaxCompute是批量计算的服务，距离实时的计算服务还是存在一定距离的。如果间隔时间变短，计算频率增加，再加上使用SQL的不良习惯就会导致计算费用飙升，产生费用较高的账单。所以请尽量避免频繁调度，如果要进行频繁调度请通过CostSQL等...
费用查询
1.背景 批量计算费用默认在 费用中心 可以查询，同时在费用中心可以看到各个云产品的费用情况；但是暂时无法看到单个云产品费用使用趋势，以及最近一周使用情况的分析。最近日志服务推出成本管家，通过成本管家可以自定义分析成本情况。...
集群镜像
1.背景 提交作业或者创建集群时，批量计算将使用您指定的镜像来启动实例。为了方便集群管理和运行状态收集，批量计算提供了预置管理软件的基础镜像。您可以直接使用这些基础镜像，也可以通过在基础镜像内安装业务所需的软件制作自定义镜像...
开通批量计算服务
2.开通 BatchCompute 2.1 定位 BatchCompute 产品 点菜单中“产品”，在“弹性计算”中找到批量计算（BatchCompute）进入 产品主页。2.2 开通 BatchCompute 服务。点击“授权”，则开通批量计算。说明 主账号只能通过此方法开通批量计算...
批量计算服务等级协议
批量计算服务等级协议
准备工作
5.关于OSS 批量计算服务默认使用 OSS 作为持久化存储，所以很有必要先花 10 分钟时间了解 OSS。如果您已经对OSS有所了解，请忽略。6.选择合适的工具 批量计算服务提供基于 HTTP 的 API，在此之上我们还封装了一些工具，您可以使用这些工具...
访问实例
批量计算固定集群申请的实例信息默认不支持公网访问能力，若希望能够登录到机器做操作做些操作可以通过以下途径，临时访问方式和生产访问形式；临时访问支持做些简单的操作、如问题debug等；若存在数据拷贝则无法通过临时方案，需要走生产...
准备工作
注意：使用内网访问批量计算服务不支持跨region访问，例如当前机器在北京 region，那么只能通过内网访问北京 region的批量计算服务不支持访问其他 region 的批量计算服务，默认是通过公网的形式访问批量计算服务。设置内网访问批量计算命令...
集群网络
1.背景 批量计算只支持 VPC 集群的创建，即实例均创建在 VPC内。同一个 VPC内的集群实例可以通过私网 IP 互联，并且可以访问您在该 VPC内的其他阿里云服务。如您需要自建 Server 管理批量计算集群实例，只需在同一 VPC内部署相关服务即可。...
NAS挂载
使用用户专有网络创建集群 说明 用户程序要在批量计算集群节点中访问存储在NAS中的文件，需要在创建批量计算集群时同时指定VpcId和CidrBlock，将批量计算集群创建到用户专有网络中。VpcId：用户NAS挂载点所在的专有网络ID，用户需要将示例...
按需集群
该类型集群适用于绝大部分业务波峰明显的场景，阿里云批量计算服务依托强大的弹性计算能力，在渲染、基因、金融、游戏、科学计算等领域有极为广阔的应用。2.限制 各账号按需实例均存在配额限制，您可以直接打开 批量计算控制台，切换到对应...
产品架构
BatchCompute 整体架构，包括：BatchCompute 入口 批量计算服务提供基于 RESTful 风格的 API。在 API 之上，用户可以通过 SDK，命令行工具，控制台等方式使用批量计算。您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并...
镜像制作时使用的ECS VM如何收费？
用户制作自定义镜像时需要使用 ECS 虚拟机，虚拟机的计费和普通 ECS 虚拟机的计费模式相同，批量计算不收取额外费用，建议使用按量付费以节省费用。
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
前言
App 是什么 App 是批量计算中资源配置的模板，包括使用什么镜像、什么实例类型、VM 个数。镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的...
实例规格
批量计算全面支持 ECS企业级实例规格，用户可以通过按量或者竞价的形式调用。在深圳（华南1），北京（华北2），杭州（华东1）区域提供的原有专属实例（规格名以bcs开头）不再对新客户售卖，原有客户可以继续使用。专属实例规格描述如下表。...
功能特性
用户使用工具（如 SDK，命令行工具等）向 BatchCompute 提交作业，BatchCompute 使用用户指定的镜像（如：ubuntu）启动虚拟机（VM）,在虚拟机中运行用户程序,运行完成后释放虚拟机（VM）。BatchCompute 中使用 OSS 作为持久化存储。您可以...
支持的地域
目前，批量计算服务支持的地域已覆盖亚洲、欧洲、北美洲。全部可用的地域(Region)如下：国内部分 RegionId 地域 cn-beijing 华北2（北京）cn-zhangjiakou 华北3（张家口）cn-huhehaote 华北5（呼和浩特）cn-hangzhou 华东1（杭州）...
使用镜像
BatchCompute 镜像有别于ECS公共镜像，来源有2种：直接使用批量计算服务官方提供的公共镜像。在云市场购买批量计算服务指定的镜像。1.公共镜像 BatchCompute 默认提供以下三种系统镜像供用户直接使用（支持经典网络和 VPC 网络）：操作系统...
GTX_FPGA 最佳实践
使用"pip install—upgrade batchcompute"更新批量计算 python SDK 到最新版本。3.2 执行命令 python test.py-reference oss:/xxx/ref/hg19.fa-fastq1 oss:/xxx/input/human30x_10m_1.fastq-fastq2 oss:/xxxx/_input/human30x_10m_2.fastq-...
获取批量计算Metrics
本文主要介绍批量计算metrics统计项以及获取方式。批量计算对外的资源主要表现在集群和作业两个维度，因此metrics统计也从以上2个维度展现。集群 Metrics Metrics 项目 集群对外提供的 Metrics 统计项包括如下：统计项 名称 单位 聚合统计...
如果程序执行失败怎么调试？
请注意AutoCluster的作业在失败后虚拟机将会被销毁，如果需要批量计算的support人员协助调查问题，建议用显式创建集群的方式运行作业以保留作业失败现场，以提供更多的调查线索。如果问题还未能解决，请联系 售后技术支持。
环境变量
1.背景 批量计算为客户提供了系统环境变量和自定义环境变量功能，您可以在代码中直接使用这些环境变量。2.说明 目前批量计算支持两种类型运行环境，您可以按需使用：VM 环境变量：作业 ID：BATCH_COMPUTE_DAG_JOB_ID 任务名称：BATCH_...
如何创建 App
在批量计算控制台，通过 App 列表的创建 App 按钮进入创建页面，各参数的含义如下：Name：App 的名称【必填参数】。Daemonize：在 App 执行时，是否只需要启动一次并保持后台运行，而不是每次都要重新启动。默认值 False【必填参数】。...
如何进行本地调试？
批量计算在程序运行时会设置一组环境变量，通过设置特定的环境变量可以简单模拟作业的运行情况。BATCH_COMPUTE_DAG_INSTANCE_ID：指定运行哪个Instance。如希望运行第0个Instance，则设置BATCH_COMPUTE_DAG_INSTANCE_ID=0；BATCH_COMPUTE_...
DAG作业快速开始
如果您还没开通批量计算服务，请先开通。命令行工具安装和配置 命令行工具安装和配置 作业准备 本作业的目的是求和，将 input.txt 中的数字全部加起来，求和后写入 output.txt。由于计算比较简单本作业只需 1 个任务。本例将 OSS 的目录...
如何提交作业
')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您提供的配置去申请虚拟机资源。批量计算启动虚拟机，并在虚拟机中运行 python test.py，得到结果后自动上传到 OSS 中。您前往 OSS 查看运行结果。1.提交作业的方法...
SGE集群支持
批量计算提供了名为 BatchCompute SGE 的公共镜像，使用该镜像可快速、可靠的构建 SGE 集群，具体的流程如下：请在 云市场 搜索关键字 BatchCompute SGE 了解该镜像，它完全免费使用，使用流程请参考 使用镜像市场的镜像创建实例。...
挂载磁盘
1.背景 您在创建批量计算节点时，因系统盘大小限制，若有较大本地数据需求，建议挂载数据盘。挂载数据盘后，对挂载目录里数据的读写行为将和读写本地数据完全相同。2.说明 数据盘挂载主要包含以下四点限制：类型限制：只支持 cloud_...
AttachCluster最佳实践
0 背景 AttachCluster作业是批量计算最新推出的 作业类型。它结合了固定集群作业和AutoCluster作业的优势，既能自动管理集群生命周期，弹性伸缩资源，又能使用分布式缓存节省资源。本文的目的在于介绍在阿里云批量计算服务上运行...
- 产品推荐
- 这些文档可能帮助您