消息 Mesh
同时，依赖消息的精细化流量调度，预期可以发掘出更大的业务价值，包括：基于事件驱动的 Serverless 化应用多版本流量管理 流量着色 分组路由 细粒度的流量灰度与 A/B 策略 未来，蚂蚁将会持续加大对消息 Mesh 的投入，为消息 Mesh 支持更...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
多终端节点组流量调配原理及应用场景
② 监听根据配置的协议与端口检查客户端的连接请求，并根据各个终端节点组的调度优先级与设置的流量调配值选择接收请求的终端节点组。③ 北京终端节点组优先级高于上海终端节点组，健康检查正常且流量调配为100%，访问流量全部被转发到北京...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
运维中心入门
运维操作管控（进阶）运维中心支持节点冻结、节点解冻、补数据、节点下线等扩展点，您可使用该扩展点结合扩展程序，实现自定义管控任务的逻辑处理与运维操作。详情请参见 扩展程序概述、应用示例：运维中心触发事件检查。后续步骤 您可为...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
工作原理
本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间的数据（例如日志、指标）日积月累后会积累大量的数据。例如，某个服务每天产生1000万条数据，则一年大约为36亿条数据。对于这些...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
文档修订记录
配置代码模板 2023.6.29 新增功能 数据开发 DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。函数计算节点 2023.6.29 新增功能 管理控制 创建E-MapReduce计算引擎数据源：...
智能监控概述
报警方式 配置监控规则后，平台一旦检测到规则被触发，将会根据您设置的报警方式，通过邮件、短信、电话或钉钉群消息等形式通知您，方便您及时发现并处理异常问题。规则类型 报警方式 疲劳度控制 自定义规则、全局规则、智能基线 报警给...
产品优势
任务调度 提供分布式任务调度框架，实现任务的分布式处理、统一的任务调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运维的成本。分布式链路跟踪 面向分布式架构、微服务架构和云原生架构的应用可观察性的...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
阿里云CDN的五大竞争力
基于内容调度，提高访问命中率：在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术，302调度是一种中心调度方案，用户在请求某一个资源的时候，在完成域名DNS解析之后，用户请求将会先访问到中心调度系统上，...
功能更新动态（2023年）
选择每日同步和单次同步，同时生成每日调度的周期任务与手动任务。集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
负载均衡调度算法介绍
负载均衡会根据配置的调度算法，将来自客户端的请求按照对应的算法规则转发至相应的后端服务器。负载均衡支持轮询、加权轮询、加权最小连接数、一致性哈希等多种调度算法，用于支持不同的业务场景。本文列出所有负载均衡系列产品支持的调度...
计算资源优化
与阿里云基础设施深度结合优化，持续提升系统的启动速度、运行时的性能。同时经过海量阿里巴巴和阿里云的产品打磨，提供优良的稳定性体验。在如下方面提供了特性优化：内核方面：Alibaba Cloud Linux2基于Linux kernel 4.19 LTS定制而成；...
持续架构优化
从架构抽象上看，当业务流量到来、业务事件发生时，云会启动或调度一个已启动的业务进程进行处理，处理完成后云自动会关闭、调度业务进程，等待下一次触发，应用的整个运行时都委托给了云。Serverless的增效降本 Serverless在事件驱动的...
ACK集群概述
应用中心：应用部署后，以统一的视角展现整体应用的拓扑结构，同时对于持续部署等场景进行统一的版本管理与回滚。应用备份和恢复：支持对Kubernetes应用进行备份和恢复。更多信息，请参见 集群内备份和恢复应用。存储 存储插件：支持CSI...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
调度周期：分钟调度
分钟调度即每天指定的时间段内，调度任务按 N*指定分钟 的时间间隔运行一次。使用限制 分钟调度的时间间隔最小粒度只能设置为 5 分钟。配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间...
数据开发常见问题
Spark：Spark常见问题 外部表：外部表常见问题 安全管理相关：权限管理常见问题 安全配置常见问题 运维管理：Information Schema常见问题 小文件优化及作业诊断常见问题 其他运维常见问题 下载数据相关：如何下载超过1万条的表数据？...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
存储异常问题排查
云盘的Pod Pending问题处理，请参见下文 云盘Pod的状态为非Running。NAS的Pod Pending问题处理，请参见下文 NAS Pod的状态为非Running。OSS的Pod Pending问题处理，请参见下文 OSS Pod的状态为非Running。排查PVC处于非Bound问题。云盘的...
K8s任务
离在线混布 对于诸如订单处理等对实时性要求较高的在线定时任务，可在同一进程内直接调用方法进行高效处理，与在线业务无缝集成。而对于实时性要求较低但资源消耗较大的离线定时任务，如报表定时导出，可通过编写脚本并以启动独立Pod的方式...
CPU拓扑感知调度
Kubernetes虽然有CPU Manager解决方案处理以上问题，但是因为CPU Manager特性是节点级别的CPU调度选择，所以无法在集群维度中选择最优的CPU Core组合。同时CPU Manager特性要求Pod是Guaranteed时（Pod中的每个容器必须指定CPU请求和CPU限制...
实例生成方式：发布后即时生成实例
DataWorks会为您的周期调度节点自动生成自调度实例，支持 T+1次日生成、发布后即时生成 两种实例生成方式，即发布至生产环境后第二天自动调度及发布至生产环境后立即自动调度。本文为您介绍即时生成实例的规则及配置要点。注意事项 周期...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
Pod诊断
类别 支持的异常场景 Pod诊断 Pod未被调度器处理。Pod不满足调度约束无法被调度。Pod已调度但未被Kubelet处理。Pod等待存储卷就绪。Pod被驱逐。Pod因节点磁盘空间不足被驱逐。Pod因节点内存不足被驱逐。Pod因节点磁盘索引不足被驱逐。Pod的...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
媒体处理常见问题
说明 metadata中的时长与实际持续的码流时长不一致可能导致转码失败，对于metadata有问题的文件，建议您先本地使用ffmpeg工具处理，再进行上传转码。协议不支持。在 错误码表 中找到对应的错误码，分析具体失败原因。如果您添加的文本水印...
Stream模型
背景信息 Stream模型提供子任务生产和消费处理分离的可持续生产消费模式。Produce接口按指定频率持续运行生成一批次子任务信息进入队列，基于缓冲队列框架持续分发子任务给当前业务集群处理。处理分发过程不会等待上一批次执行结束，只要...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
- 产品推荐
- 这些文档可能帮助您