通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
提交作业
E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。具体操作，请参见 管理文件。通过会话管理功能，您可以远程登录到集群，执行命令创建作业文件。具体操作，请...
CreateJobFile-创建一个作业文件
调用CreateJobFile创建一个作业文件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
部署作业
如果您的作业是Python API类型，需要首先上传您的Python作业文件。Python作业文件上传之后，默认会被上传到作业运行节点的/flink/usrlib/目录下。假如您的Python作业文件名为word_count.py，则Entrypoint main args需要填写为-py/flink/...
导入OSS作业文件到集群中
创建作业时，可直接选择OSS中的作业文件，以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。上传数据 至OSS 您可以将作业数据及执行文件上传至对象存储OSS，操作步骤如下：选择与E-HPC集群相同的地域开通OSS服务。具体...
通过命令行提交作业
提交作业 请根据集群的调度器类型，以及您准备好的作业文件，编写作业脚本，并提交作业。示例如下：说明 自动伸缩场景下，E-HPC不支持基于内存来扩缩容，建议您在提交作业时指定作业所需的vCPU数。PBS 编写作业脚本，脚本文件命名为...
ACID语义
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
使用Azkaban调度MaxCompute
基于此场景，您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前，请确认您已满足如下条件：已下载并安装MaxCompute客户端。更多安装并配置MaxCompute客户端操作，请参见 安装并配置MaxCompute客户...
QueryFpFileDeleteJobList-查询删除DNA文件
string 不存在的作业 ID 列表。c2dc694696f1441591c5012a73c1*示例 正常返回示例 JSON 格式 {"RequestId":"D127C68E-F1A1-4CE5-A874-8FF724881A12","FpFileDeleteJobList":{"FpFileDeleteJob":[{"CreationTime":"2020-06-30T00:33:18Z",...
成本分析
可以通过用量记录数趋势查看是否因为作业量突增引起，如果不是，可以通过对比计算使用量趋势判断是用量突增引起，那么再通过作业明细（Instance明细）查看具体作业的用量，从而定位出是什么作业的用量增长带来费用增长。存储用量分析：您...
数据库实时入仓快速入门
此时，如果您希望开发一个数据同步的作业，将这些表和数据都同步到Hologres中，其中user分库分表能合并到Hologres的一张表中，则可以按照以下步骤进行：步骤一：创建Catalog 步骤二：开发数据同步作业 步骤三：启动作业 步骤四：观察全量...
OSS参考使用说明
此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片管理中，所以您不仅要删除OSS文件管理中的作业残留文件，还需将OSS碎片管理中的文件碎片清理一次，否则会产生数据存储...
Flink SQL作业快速入门
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
SQL作业开发
说明 依托于元数据管理能力，您能够在不同的作业中重复利用创建的表结构。在使用Flink开发控制台编辑SQL作业时，只需要输入部分字符，系统即可自动补全字段和表名称。代码示例如下。创建源表datagen_source。CREATE TEMPORARY TABLE ...
SDK安装与使用
本文介绍如何获取SDK以及使用SDK提交Spark作业。获取SDK 您可以在Maven Repository中获取数据湖分析最新的SDK...} 注意 JobConfig 是一个合法的JSON格式的String，建议您手动在控制台执行一些小批量的作业，然后通过SDK来自动化提交核心业务。
Java SDK Demo
本文以一个完整的程序为例，提交一个计算π的作业到数据湖分析DLA，跟踪它的状态，查询历史上的运行结果。import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import ...
使用Logview 2.0查看作业运行信息
图标 功能 打开本地保存的作业详情文件Logview_detail.txt。返回Logview 1.0版界面。将作业详情文件保存至本地设备。Basic Info Basic Info区域展示的作业基本信息如下。参数名 描述 MaxCompute Service 作业使用的MaxCompute服务的...
使用LAMMPS软件进行工业仿真
默认作业结果文件输出/home/<用户名>/目录下，本示例中的作业结果文件为/home/testuser/lammps.pbs.o0。预期返回如下：.Per MPI rank memory allocation(min/avg/max)=3.777|3.801|3.818 Mbytes Step Temp E_pair E_mol TotEng Press 0 1....
LAMMPS Ehpc服务实例部署文档
默认作业结果文件输出/home/<用户名>/目录下，本示例中的作业结果文件为/home/testuser/lammps.pbs.o0。预期返回如下：.Per MPI rank memory allocation(min/avg/max)=3.777|3.801|3.818 Mbytes Step Temp E_pair E_mol TotEng Press 0 1....
日志实时入仓快速入门
此时，如果您希望创建一个数据同步的作业，将该Topic中的日志数据都同步到Hologres中，则可以按照以下步骤进行：步骤一：配置IP白名单 步骤二：准备Kafka测试数据 步骤三：创建Hologres Catalog 步骤四：创建并启动数据同步作业 步骤五：...
从Flink SQL导入
在弹出的 作业启动配置 页面，单击 确认启动。在 云数据库ClickHouse 中查询表。登录 云数据库ClickHouse控制台。在页面左上角，选择目标集群所在的地域。在 集群列表 页面，选择目标集群对应类型的 实例列表，单击目标集群ID。在 集群信息...
使用教程（宽表模型）
如果您的作业已使用了Flink 1.12及更早版本的引擎，您需要按照以下情况进行处理：Flink 1.12版本：停止后启动作业，系统将自动将引擎升级为 vvr-3.0.3-flink-1.12 版本。Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到 vvr-3.0.3-...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
访问Kafka数据源
说明 Spark作业主文件目前只支持存储在OSS中。jars Spark作业依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。name Spark作业名称。className Java或者Scala程序入口类。Python不需要指定入口类。spark.adb.eni.enabled 是否开启ENI访问。...
通过Flink读写AnalyticDB PostgreSQL数据
adbpg-test 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
生命周期管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...
adbpg-test 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
使用教程（时序模型）
如果您的作业已使用了Flink 1.12及更早版本的引擎，您需要按照以下情况进行处理：Flink 1.12版本：停止后启动作业，系统将自动将引擎升级为 vvr-3.0.3-flink-1.12 版本。Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到 vvr-3.0.3-...
使用UDAF实现数据排序和聚合
作业参数 说明 文件名称 作业的名称。说明 作业名称在当前项目中必须保持唯一。存储位置 指定该作业的存储位置。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。引擎版本 当前作业使用的Flink的引擎版本。需要与pom中的version一致。...
Spark FAQ
常见的作业执行慢可以分为两大类：作业异常导致，您可以通过下面方法1和方法2排查。作业无异常仍然很慢，您可以通过方法3、方法4和方法5排查。1.查看是否有Executor状态是Dead。查看方式：单击展开对应作业的 操作 列表，点击 SparkUI 进入...
基础管理FAQ
本文介绍创建或删除NAS文件系统、添加或删除挂载点等的常见问题。每个账号可以创建多少个文件系统、文件系统有什么限制？每个账号在单个地域内最多支持创建20个通用型NAS文件系统和200个极速型NAS文件系统。单个文件系统容量上限：通用容量...
常见问题
用Spark Streaming写数据到Delta，本质上是执行一系列的mini batch，一个batch会产生一个或者多个文件。由于batch size通常较小，因此Spark Streaming连续运行会产生相当数量的小文件。解决方法有两种：如果实时性要求不高，建议增大mini ...
使用RAM权限策略控制NAS访问权限
说明 由于RAM不支持授予RAM用户单一文件系统的查看权限，当要授予RAM用户单一文件系统完全控制权限时，请您先授予RAM用户全部文件系统的查看权限，然后再授予RAM用户单一文件系统的操作（删除、修改）权限。{"Version":"1","Statement":[{...
功能发布记录
2021-12-07 创建混合云集群 提交作业 优化 提交作业界面更新，支持Workbench登录集群编辑作业文件。2021-11-25 通过控制台提交作业 扩容混合云集群 优化 混合云集群支持多可用区扩容，您可以根据业务需求，选择不同的扩容策略。2021-10-26 ...
什么是弹性高性能计算E-HPC
什么是文件存储NAS 对象存储OSS（Object Storage Service）对象存储服务可以存储您的作业数据及执行文件，您可以将对象存储服务内的作业数据及执行文件导入E-HPC集群。什么是对象存储OSS 功能特性 弹性高性能计算E-HPC主要提供以下功能。...
上下游存储
为什么含有MaxCompute源表的作业一直在启动中，或作业启动成功后过了很久才产生数据？RDS MySQL结果表 为什么主键为bigint unsigned的MySQL表注册Flink Cataolg，主键会变为decimal？但是使用CTAS同步到Hologres后，主键又变为text？Flink...
功能发布记录
提交版权水印提取作业 提交溯源水印提取作业 查询版权水印提取作业 查询溯源水印提取作业 提交智能生产作业 查询智能生产作业 2021-11-19 接口优化：新增QPS限制、使用说明。QPS限制 2021-11-24 计费调整：不足一分钟部分计费改为按比例...
管理自定义函数（UDF）
如果引用该UDF JAR的作业正在运行，则依然会使用旧UDF JAR文件。单击 修改。删除UDF 说明 在删除UDF JAR文件前，请确定其注册的UDF没有被作业或SQL文件引用。如果您的UDF JAR文件不再使用，您可以按照以下步骤删除UDF。进入自定义函数注册...
常见问题
文件网关缓存的淘汰机制是什么？文件网关的缓存有什么作用？云存储网关文件上传原理解析是什么？极速同步如何保证反向同步数据一致性？云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何...
数据导入常见问题
为什么Broker Load导入作业没报错，但是却查询不到数据？报错“failed to send batch或TabletWriter add batch with unknown id”，该如何处理？报错“LOAD-RUN-FAIL;msg:OrcScannerAdapter:init_include_columns.col name=xxx not found”...
- 产品推荐
- 这些文档可能帮助您