基础开发

根据运行时进行个性化配置 当前需要手动选择运行时运行时版本,不支持指定第三方包管理工具版本。支持的版本列表 运行时版本列表 当前支持Ubuntu 22.04作为基础环境。支持的语言包括Go、Python、Node.js、Java、PHP和静态页面应用。支持...

设置代码包运行环境

如果您通过代码包将应用或任务托管到 SAE,可以为其自定义运行环境,例如安装运行时依赖与扩展、下载与修改文件等。本文介绍如何在 SAE 控制台为应用和任务设置代码包运行环境。前提条件 已配置代码包。已申请开通白名单。背景信息 基于...

设置代码包运行环境

如果您通过代码包将应用或任务托管到 Serverless 应用引擎 SAE(Serverless App Engine),可以为其自定义运行环境,例如安装运行时依赖与扩展、下载与修改文件等。本文介绍如何在 SAE 控制台为应用和任务设置代码包运行环境。背景信息 ...

HTTPS 请求配置

为保障通信安全,建议您保持开启,若在测试环境必须忽略证书校验,可以通过运行时参数 ignoreSSL 设置:/运行时参数超时设置,仅使用了该运行时参数实例的请求有效$runtimeOptions=new RuntimeOptions();true 忽略证书校验;false 设置...

安全概览

容器服务ACK提供安全概览功能,支持节点、容器镜像、容器运行时、工作负载配置进行风险识别及安全加固,可以帮助您提升云上资源和业务应用的安全治理效率。本文介绍如何使用容器服务ACK的安全概览功能。使用说明 安全概览功能仅支持ACK...

安全概览

容器服务ACK提供安全概览功能,支持节点、容器镜像、容器运行时、工作负载配置进行风险识别及安全加固,可以帮助您提升云上资源和业务应用的安全治理效率。本文介绍如何使用容器服务ACK的安全概览功能。使用说明 安全概览功能仅支持ACK...

部署选址与配置验证

您可以在 网络智能服务 NIS(Network Intelligence Service)中参考网络观测数据,业务进行分析和评估,确定在哪些地域或可用区部署业务,并且对网络配置进行测试和确认,确保网络能够正常运行并满足预期的要求。使用场景 通过NIS查看...

AIMaster:弹性自动容错引擎

Sync 任务重启设置-enable-job-restart 在满足容错条件或检测到运行时异常时,是否允许任务重启。取值如下:False:不重启任务。True:重启任务。False-max-num-of-job-restart 配置任务最大重启次数。超过最大重启次数后,会将任务标记为...

在文件存储 HDFS 版上使用Apache Spark

cp aliyun-sdk-dfs-x.y.z.jar/usr/local/hadoop-2.7.2/share/hadoop/hdfs 执行如下命令将${HADOOP_HOME}文件夹同步到集群的其他节点的相同目录下,并按照 步骤6 集群其他节点配置Hadoop的环境变量。scp-r hadoop-2.7.2/hadoop@cluster-...

使用Flink访问

tar-zxvf flink-1.9.0-bin-scala_2.11.tgz-C/usr/local/说明 在使用Apache Flink之前必须在您的集群环境变量中配置 HADOOP_HOME,HADOOP_CLASSPATH 和 HADOOP_CONF_DIR,详情请参见 Apache Hadoop 配置 步骤7配置环境变量。如果您需要...

MaxCompute+Hadoop搭建实践

本文以E-MapReduce的Hive为例,为您介绍在MaxCompute中如何创建外部项目,并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群,具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后,在终端...

基本概念

任务模板中可以任务执行时间、实例规格、并发数等配置项进行配置。任务模板和任务的关系,类似面向对象程序设计中的类和对象的关系,任务模板是静态的概念,任务是动态的概念,可以根据单个任务模板批量创建多个任务。任务记录 任务执行...

运行配置

支持以下3类任务设置运行时长阈值:任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等任务。周期任务 包括所有的周期调度任务。手动任务 包括手动实例(计算任务、集成、同步)、萃取模式补数据...

运行配置

支持以下3类任务设置运行时长阈值:任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等任务。周期任务 包括所有的周期调度任务。手动任务 包括手动实例(计算任务、集成、同步)、萃取模式补数据...

集群存储根路径没有权限,导致集群服务启动失败的问题

本文介绍集群运行时,由于配置的集群存储根路径(对应Hadoop-Common服务中 fs.DefaultFS 配置项)缺乏访问权限,导致集群的部分服务启动失败的原因和解决方案。问题详情 在E-MapReduce控制台,集群的Hadoop-Common服务 状态 页面的 健康...

运维中心概述

说明 当任务未运行时您可以使用智能诊断功能快速进行对问题进行定位与排查,详情可参考文档:智能诊断。依赖的所有父节点实例状态都为成功状态 配置节点依赖关系可以保障节点在运行时能取到正确的数据(读取上游表数据时,上游表的最新数据...

管理作业

设置作业 新建作业、或者新建作业后,可作业进行以下设置。单击页面右上角的 作业设置。在 作业设置 页面,设置基础信息。参数 描述 作业概要 作业描述:可修改作业的描述。运行资源 单击右侧的 图标,添加作业执行所依赖的JAR包或HDFS...

在文件存储 HDFS 版上使用Apache Flink

cp aliyun-sdk-dfs-x.y.z.jar/usr/local/hadoop-2.7.2/share/hadoop/hdfs 执行如下命令将${HADOOP_HOME}文件夹同步到集群的其他节点的相同目录下,并按照 步骤6 集群其他节点配置Hadoop的环境变量。scp-r hadoop-2.7.2/hadoop@cluster-...

重试机制

升级版 SDK OpenAPI 请求中遇到网络问题的情况会进行重试,对于业务报错则不会重试。在请求中通过运行时参数配置重试,优先级为 RuntimeOption->默认;默认不会进行重试,如果打开重试配置配置重试次数,则默认最多重试3次:public ...

常见问题排查

本文介绍使用 文件存储 HDFS 版 文件系统SDK遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败,提示 java.lang.ClassNotFoundException:Class ...

功能简介

在完成数据同步配置后,数据同步模块可数据同步任务的执行和运行情况进行全面的监控运维。可任务总数、线上任务、正运行任务等核心指标进行统计,并可以实现异常任务执行状态的监控,当前实例状态监控。任务的开始时间、结束时间、...

快速入门

本文以配置在2023-08-03至2023-08-31范围内,每周一、周四的0时进行调度举例。步骤四:运行任务流 任务流配置完成后,单击 试运行,任务流将从任务流中的第一个节点依次执行。任务流运行方式还有空跑、指定时间运行、指定时间范围运行三种...

数据同步

在完成数据同步配置后,数据同步模块可数据同步任务的执行和运行情况进行全面的监控运维。可任务总数、线上任务、正运行任务等核心指标进行统计,并可以实现异常任务执行状态的监控,当前实例状态监控。任务的开始时间、结束时间、...

功能简介

在完成数据同步配置后,数据同步模块可数据同步任务的执行和运行情况进行全面的监控运维。可任务总数、线上任务、正运行任务等核心指标进行统计,并可以实现异常任务执行状态的监控,当前实例状态监控。任务的开始时间、结束时间、...

配置离线管道运行参数

运行参数配置离线管道中所用的变量进行赋值,从而支持节点调度,参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数配置入口 在Dataphin首页,单击顶部菜单栏的 研发。按照下图操作指引,选择您需...

YARN概述

YARN是Hadoop系统的核心组件,主要功能包括负责在Hadoop集群中的资源管理,负责作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度,为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的...

实时模式运行参数配置

在开发实时任务时,通常需要配置任务的运行参数,以控制任务的执行行为和性能。...若您项目中所有计算任务均需配置同一的任务参数,您可在新建项目时进行全局的统一配置。详情请参见 创建通用项目。单击 确定,完成实时模式的运行参数配置

监控报警

监控报警方案 MaxCompute支持通过如下方式实现监控报警功能:通过 阿里云监控服务 配置 监控指标,包年包月资源、实时作业消费、Tunnel上传下载数据量及作业运行时进行监控:通过监控大盘,实时观察监控图表,了解各监控指标的实时...

查看异常统计

对于运行时长过长的任务节点,建议您查看任务详情及对应资源组配置,以决定是否需要该任务进行优化。② 离线实例异常排行榜 支持查看失败次数和失败次数占比的排行榜,帮助您及时运行异常任务。单击 查看注释,查看运行失败次数、运行...

SHOW

备份操作 查看当前项目内的表和处于备份状态的表信息,包括已经删除表,支持根据表名进行过滤,命令格式如下:show history for tables[like];查看指定表的备份数据,获取保留周期内备份的各个数据版本信息。show history for table;查看已...

逻辑表运行配置

您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤 请参见 数据开发入口,...

文件存储 HDFS 版和对象存储OSS双向数据迁移

{HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=107374182400 \-D mapreduce.randomtextwriter.bytespermap=...

ALB实例所有运行中的监听都设置访问控制

ALB实例所有运行中的监听都设置了访问控制,视为“合规”。应用场景 为ALB实例的监听设置合适的访问控制,减小开放的网络范围,保障云环境的网络安全。风险等级 默认风险等级:中风险。当您使用该规则,可以按照实际需求变更风险等级。...

使用代码检测服务

若选择合并请求触发,则该库发生的合并请求,将源分支合并到目标分支的代码进行检测:针对运行时需要编译的检测包,需要设置检测编译参数,如果在检测方案上已经设置过「默认编译配置」,则会默认继承自动填写至检测任务创建界面,同时也...

SLB实例所有运行中的监听都设置访问控制

SLB实例所有运行中的监听都设置了访问控制,视为“合规”。应用场景 为SLB实例的监听设置合适的访问控制,减小开放的网络范围,保障云环境的网络安全。风险等级 默认风险等级:中风险。当您使用该规则,可以按照实际需求变更风险等级。...

计算任务运行配置

您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...

产品优势

弹性能力 Spark CU版弹性:按照Job实际使用弹出资源,只实际运行的资源进行计费,比传统方案节约50%的成本。Presto CU版弹性:分弹性(设置时间段来使用CU资源)。Presto扫描量版本:按照扫描量计费,只实际运行的SQL进行计费。优势...

离线管道任务运行配置

您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败的重跑策略,离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...

离线管道任务运行配置

您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败的重跑策略,离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...

离线模式运行参数配置

说明 若您项目中所有计算任务均需配置同一的任务参数,您可在新建项目时进行全局的统一配置。详情请参见 创建通用项目。BLINK_SQL运行参数支持高档、中档、低挡推荐配置。您可以根据您的业务需求进行快速切换使用。单击 确定。
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
开源大数据平台 E-MapReduce 云服务器 ECS 弹性公网IP 负载均衡 共享流量包 短信服务
新人特惠 爆款特惠 最新活动 免费试用