监控与报警

网络接收数据量(作业维度)指定作业网络接收数据量(MB)。网络发送数据量(作业维度)指定作业网络发送数据量(MB)。GPU算力使用率(作业维度)指定作业的GPU算力使用率。GPU显存使用率(作业维度)指定作业的GPU显存使用率。GPU SM...

2022-09-19版本

作业快照网络开销 平均节省5~10倍的网络开销,节省比例随增量状态的减小而增大。双流Join算子支持自动推导开启KV分离优化。SQL作业双流Join算子会根据作业特点,自动推导并开启State KV分离优化功能,优化双流Join性能。在典型场景的性能...

Java SDK Demo

}/*返回一个Spark Job当前的状态*@param sparkJobId 用户Spark作业的ID*@return 返回Spark作业的状态,类型为String*@throws ClientException 提交作业可能因为网络原因等抛出错*/public static String getSparkJobStatus(IAcsClient client...

SDK安装与使用

需要是JSON格式*@return Spark JobId,提交作业成功,返回作业的ID,用于后续的状态跟踪*@throws ClientException 提交作业可能因为网络原因等抛出错误*/public String submitSparkJob(String regionId,String accessKeyId,String ...

使用教程(时序模型)

Flink与Tablestore实例必须处于同一专有网络VPC。Tablestore实例的服务地址必须使用VPC地址。当前支持使用此功能的地域有华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、中国香港、...

作业智能诊断

Flink Advisor作业智能诊断服务能够帮您监控作业健康状况,分析和诊断错误日志、异常运行和风险情况,并提供可理解和可操作的诊断建议,全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...

SQL作业开发

深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时,您可以单击结果区域的 SQL优化,展开查看SQL风险问题提示以及对应的SQL优化建议。可选:单击 调试。您可以使用作业调试功能模拟作业运行、检查输出结果,...

Flink SQL作业快速入门

深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时,您可以单击结果区域的 SQL优化,展开查看SQL风险问题提示以及对应的SQL优化建议。(可选)步骤五:进行作业调试 在作业开发页面顶部,单击 调试。您可以...

实时计算Flink读写OSS或者OSS-HDFS

深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时,您可以单击结果区域的 SQL优化,展开查看SQL风险问题提示以及对应的SQL优化建议。单击 部署。完成作业开发和深度检查后,即可部署作业,将数据发布至生产...

CDC问题

作业重启时,MySQL CDC源表会从作业停止时的位置消费,还是从作业配置的位置重新消费?MySQL CDC源表如何工作,会对数据库造成什么影响?如何跳过Snapshot阶段,只从变更数据开始读取?如何读取一个分库分表的MySQL数据库?多个CDC作业导致...

AnalyticDB MySQL集群状态和DTS同步作业状态

状态 说明 Preparing 准备中 Creating 创建中 Restoring 备份恢复中 Running 运行中 Deleting 删除中 ClassChanging 变配中 NetAddressCreating 创建网络链接中 NetAddressDeleting 删除网络链接中 DTS同步作业状态 同步作业状态 状态说明 ...

安全服务介绍

账号体系安全测试 基础业务安全测试 代码保护测试 动态保护对抗测试 渗透测试的服务流程图如下:攻防演练 阿里云提供的攻防演练服务内容及服务等级协议(SLA)如下:服务内容 服务分类 服务描述 服务范围 服务的交付件 网络安全现状调研...

Spark FAQ

常见问题 如何处理Spark作业报错:The VirtualCluster's name is invalid or the VirtualCluster's is not in running state?如何处理Spark作业报错:User%s do not have right permission[*]to resource[*]?如何处理Spark作业报错:No ...

开发和调试

开发人员可定义Combiner以减少存储消息的内存和网络数据流量,缩短作业的执行时间。改进业务逻辑。数据量大时,读取磁盘中的数据可能耗费一部分处理时间。减少需要读取的数据字节数可以提高总体的吞吐量,提高作业性能。您可通过以下方法...

Spark常见问题

作业报错 运行Spark作业时,报错User signature dose not match,如何解决?运行Spark作业时,报错You have NO privilege,如何解决?运行Spark作业时,报错Access Denied,如何解决?运行Spark作业时,报错No space left on device,如何...

配置数据源网络

Serverless Spark要挂载用户VPC网络的虚拟网卡,只需要在Spark作业配置中配置VPC网络中的安全组ID和虚拟交换机ID即可。如果用户的ECS本来就可以访问目标数据,只需要在Spark作业配置中配置该ECS所在的安全组ID和虚拟交换机ID即可。说明 ...

查看Spark监控

Network I/O 当前作业Driver和Executor节点的网络传输速度。Minor GC(GC time/1 min)当前作业Driver和Executor节点每分钟 Minor GC花费时间。Full GC(GC time/1 min)当前作业Driver和Executor节点每分钟Full GC花费时间。Streaming ...

本地调试作业

完成作业的本地开发后,可以通过提交JAR作业的方式将Spark作业提交至云上运行,具体操作请参见 步骤一:依赖配置,请将Spark作业中使用的连接地址修改为Lindorm计算引擎的专有网络连接地址。调试Spark作业 以 Spark作业示例 为例,通过IDEA...

常见问题

您可以根据以下步骤,通过DataFlow集群外的机器,提交作业到DataFlow集群:确保DataFlow集群和DataFlow集群外的机器网络互通。配置提交Flink作业的客户端的Hadoop YARN环境。DataFlow集群中的Hadoop YARN的软件安装目录是/opt/apps/YARN/...

金融行业最佳实践

同时,实战攻防演练的规模和攻击技术都在不断升级,如何高效丛容地应对攻防演练,成为金融行业网络安全建设的重要目标。方案优势:阿里云DCDN在分布式的边缘节点提供Web应用防火墙、HTTPS加密传输、防盗链、防篡改、访问控制等多项安全功能...

拓扑感知调度

为了优化此类作业的执行时间,一种有效办法是将Pod尽量部署在同一个可用区,甚至在同一个机架上,通过减少Pod之间通信的跳数减少Pod间网络通信时延,从而减少作业执行时间。目前Kubernetes原生支持了通过NodeAffinity以及PodAffinity的方式...

Web应用集成SDK

Web采集器 Web采集器将客户端浏览器或容器环境下的特征纳入整体antibot攻防体系,进一步识别出多种网络层特征无法覆盖的攻击手法,提升攻防效果。Web采集器采集到的特征经过混淆加密后,在根域名下植入cookie,并通过请求上报,对性能影响...

2024-03-13版本

说明 已申请完成网络架构升级的用户,因整体网络环境的变化,IP查找作业能力暂时无法覆盖,详情请参见 网络架构升级。暂无 任务编排(公测中)功能优化 支持工作流节点失败告警,支持节点重新运行、成功和终止运行。管理工作流 管理工作流...

离线同步任务调优

本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项,以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响,详情请参见:数据同步速度的影响...

迁移工具

本文为您介绍Bayes上的作业迁移到VVP时,所使用的迁移工具的使用说明。前提条件 您已具备Bayes对应项目的Owner权限和目标VVP项目的Owner权限。VVP集群和Bayes具有相同的VPC,即可保证迁移后上下游网络的连通性。使用限制 DataStream作业JAR...

Spark Streaming

前提条件 在DLA Serverless Spark中运行Spark Streaming作业前,您需要完成以下准备工作:授权DLA Serverless Spark访问用户VPC网络的权限。具体操请参见 配置数据源网络。在 Data Lake Analytics管理控制台 的 虚拟集群管理 页面中,确认...

计算引擎交换机设置

背景信息 计算引擎作业运行时会消耗虚拟交换机的IP地址,IP地址不足可能会导致作业运行失败,您可以通过设置多个交换机,解决IP地址不足的问题。Lindorm实例会按需使用IP地址并及时释放。操作步骤 登录 Lindorm管理控制台。在页面左上角,...

JAR作业开发

使用限制 受部署环境、网络环境等因素的影响,开发DataStream作业,需要注意以下限制:仅支持JAR形式的作业提交和运行,支持一个主JAR包和多个附加依赖JAR包。不支持在Main函数中读取本地配置。产品运行环境使用的是JDK 1.8,作业开发也...

从PolarDB-X同步至AnalyticDB for PostgreSQL

如果需要在数据同步期间切换 PolarDB-X 的网络类型,在您执行完网络类型切换操作后,请调整同步链路的网络连接信息。在成功启动数据同步作业后,如果在源库中新增了一个表并需要将其作为同步对象,您需要为数据同步作业 新增同步对象。费用...

网络架构升级

加强网络安全隔离措施:进一步增加您的VPC内网络安全隔离,VPC内将无法扫描到作业JM/TM的IP和端口,Web UI和Rest接口访问得到安全加固。同城高可用功能基础:开启同城高可用需要购买跨可用区类型CU,需完成网络升级以实现同城不同可用区下...

计算费用(按量付费)

如果在MaxCompute下使用OTS和OSS相关服务,计费方式如下:执行SQL作业时,如果您通过外网、经典网络和VPC网络访问OTS(不包含STS方式访问),OTS会收取费用,详情请参见 OTS计费说明。执行SQL作业时,如果您通过外网访问OSS会收取流量费用...

Python作业开发

dateutil 2.8.0 pytz 2021.1 requests 2.25.1 rsa 4.7.2 setuptools 47.1.0 six 1.15.0 typing-extensions 3.7.4.3 urllib3 1.26.3 wheel 0.36.2 使用限制 由于Flink受部署环境、网络环境等因素的影响,所以开发Python作业,需要注意以下...

媒体处理常见问题

转码异常问题 使用SubmitJobs API提交转码作业,转码失败后如何排查?确认转码源文件能否在本地正常播放(非常重要),经统计大部分转码失败是因为源文件本身有问题(如:视频流缺失、metadata存在问题、帧错误、视频头部信息缺失等),会...

ACK One概述

ACK One 可以连接并管理您任何地域、任何基础设施上的Kubernetes集群,并提供一致的管理和社区兼容的API,支持对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管控。本文介绍 ACK One 的产品优势、功能和应用场景。...

迁移方案

迁移限制 由于Blink作业的State和Flink的State无法兼容复用,因此所有的迁移工作均采用冷迁移方式,即Blink作业需停止后再切换成Flink作业后启动,迁移过程中会存在业务中断的情况。Bayes开发平台权限体系无法对应VVP,需要您重新进行授权...

同城高可用

重要 开启跨可用区后,虽然您的作业不会直接在备可用区立即启动,但网络架构已经发生变更。请在开启前,确认已将备可用区的交换机网段 添加到上下游系统白名单 中,避免出现网络访问受限问题。为实现Flink工作空间的同城高可用性,必须确保...

迁移方案

本文为您介绍将自建开源Flink集群的流式作业(包含Table API、SQL和Datastream)迁移至阿里云实时计算Flink全托管版的迁移优势、迁移方案和相关文档。迁移优势 Flink全托管产品按CU售卖,根据业务需要按需购买,可以降低成本。另外提供提交...

迁移方案

集群最大CU规格 4核16 GB 80 CU 8核32 GB 160 CU 16核64 GB 800 CU 24核96 GB 800 CU以上 网络互通 在EMR控制台创建完DataFlow集群之后,在迁移作业之前,您还需要确保提交Flink作业的客户端所在的机器与DataFlow集群之间的网络互通。...

提交作业

提交作业 最简单的作业 如果您已经按照 准备工作 里的步骤配置了默认镜像、实例类型和网络类型,可以通过以下的简单命令提交一个作业。bcs sub"echo 123"#提交一个单任务作业,运行:echo 123 如果您没有对命令行工具进行过默认配置,需要...

Task快速重启配置

如果Task异常是由TaskManager异常退出或网络异常导致的,则配置Task快速重启后,作业Failover的耗时可能不会有明显的缩短,极端情况下可能会更长。由于单个Task Failover期间作业Checkpoint会失败,建议调高容忍Checkpoint失败的次数。目前...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
共享流量包 负载均衡 NAT网关 弹性公网IP 高速通道 短信服务
新人特惠 爆款特惠 最新活动 免费试用