Windows系统实例的宕机问题排查
定位宕机原因 您可以通过以下方式，定位ECS实例发生宕机的具体原因。方式一：（推荐）通过自助诊断工具定位 登录 ECS管理控制台，左侧导航栏单击 自助问题排查。单击 实例问题排查 页签。选择 实例无法连接或启动异常>实例出现宕机，然后...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
什么是SCDN
精准调度 百万级别调度：阿里云自主研发的智能调度系统，单机支持百万级别域名调度。可控可拓展：更加优异的可控性、协议扩展性，进一步降低成本。多级调度：支持多级的调度策略，节点故障不会造成用户服务不可用。多系统联动：和阿里云...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
基本概念
完成提交后，相应的代码、调度配置全部合并至调度系统中，调度系统根据相关配置进行调度操作。说明 未提交的节点任务、业务流程不会进入调度系统。脚本开发（Script）脚本开发是提供给数据分析使用的一个代码存储空间。脚本开发的代码无法...
DCDN节点运维下线说明
节点流量调度：阿里云DCDN节点的运维操作有一套规范的处理流程，对于需要运维的节点，阿里云DCDN的调度系统会在下线节点之前把流量调度到周边正常运行的节点上。异常情况监测：阿里云DCDN节点也可能会因为一些少量的异常情况（例如：运营商...
运行及排错
提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补数据和周期运行三种触发方式，帮助您确认实例运行的定时时间、相互依赖关系、数据结果产出是否符合预期。测试运行：手动触发方式。如果您仅需要确认...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
调度参数配置最佳实践
系统调度参数 bizdate 是DataWorks上的系统调度参数，当参数赋值为=$bizdate 时，默认获取前一天的日期。参数定义 含义 日期格式 参考样例 variate=$bizdate 获取业务日期。yyyymmdd 场景：天任务在2022年11月22日的1点执行。赋值结果：...
公共调度资源组计费说明：按量付费
DataWorks为您提供公共调度资源组用于任务调度运行。公共调度资源组的计费方式为按量计费，本文为您介绍公共调度资源组的按量计费详情。背景信息 概念介绍 公共调度资源组是DataWorks提供的公共资源组的一种，计费方式为按量计费。所有阿里...
什么是故障演练
故障演练是一款遵循混沌工程实验原理并融合了阿里巴巴内部实践的产品，提供丰富故障场景，能够帮助分布式系统提升容错性和可恢复性。流程 故障演练建立了一套标准的演练流程，包含准备阶段、执行阶段、检查阶段和恢复阶段。通过四阶段的...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
网络配置
购买堡垒机实例后，您需要启用该实例才能进行运维操作。本文介绍如何启用堡垒机实例并配置堡垒机网络。选择网络类型 在购买云盾堡垒机实例时，除了选择地域、套餐、购买时长外，您还需要选择云盾堡垒机实例所使用的网络类型。建议您选择与...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
CreateFile
每周二、周五的0点5分自动调度：00 05 00*2,5 由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、...
UpdateFile
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
运维中心概述
查看并管理周期任务 周期任务运维为您展示任务提交到调度系统后的调度任务列表与调度环境产生的 周期实例。周期任务面板展示当前所有的调度节点，您可以在周期任务面板修改周期调度任务使用的资源组、责任人等信息。DataWorks每晚会根据 ...
节点伸缩概述
Pod Disruption Budgets：可限制在同一时间因自愿干扰导致的多副本应用中发生宕机的Pod数量。节点即时弹性 支持根据Pod选择最优 装箱策略（Bin Packing）和 预绑定（PreBind）策略（自定义特性），可将调度碎片率优化30%。节点即时弹性 的...
Group Identity功能说明
当Alibaba Cloud Linux 2内核版本是 4.19.91-25.1.al7~4.19.91-25.5.al7 时，Alibaba Cloud Linux 2使用Group Identity功能时会出现宕机现象。请先升级内核版本至 4.19.91-25.6.al7 或更高版本。具体操作，请参见 相关问题。当Alibaba ...
Pod诊断
根因分析：根据采集的数据和检查项，部分问题可自动分析导致问题的原因。诊断结果 诊断结果包括根因结果与检查项。根因诊断结果部分包括 识别到的异常、异常根因 和 修复建议。检查项则按不同的类别对可能引起异常的点进行检查，覆盖根因未...
公交出行：启迪公交
票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时客流，结合公交汽车机具上传的监控信息进行实时统一分析支持指挥车辆调度。客户价值 启迪公交通过北京公交智能化业务系统，为首都人民提供了更加绿色...
基于AnalyticDB实现城市公交系统智能化
票务管理工作台将用户检录的数据实时同步到 AnalyticDB MySQL版 中，业务人员即可使用SQL进行自由灵活的计算分析，得出实时客流，然后结合公交车机具上传的监控信息进行实时分析，指挥车辆调度。客户价值 基于 AnalyticDB MySQL版 和DRDS...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
创建混合云集群
背景信息 本地HPC集群管控节点的环境要求如下：操作系统：CentOS 7.2、7.3、7.4、7.5、7.6、8.0 调度集群类型：custom、deadline、PBS 18.1.1、SGE（Open Grid Scheduler）说明 PBS和SGE集群仅支持操作系统CentOS 7.x。账号管理类型：...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的实例。等待中 已触发...
湖仓版作业调度
如果是SQL任务，则可以查看该任务执行时的系统运行调度日志。如果是Spark任务，则可以查看该任务用户自行打印的日志，以及系统运行调度日志。监控工作流 监控单个项目空间中所有工作流和任务节点的状态。提交成功：用户提交成功的调度作业...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
服务介绍
升降级能力 边缘一体机处于繁忙状态时，可配置升降级策略来处理算法识别到的事件，降低边缘一体机在高压力情况下出现宕机的风险。任务感知 支持在边缘计算控制台，远程开启边缘一体机中的执行计划任务，开启执行计划任务后，可通过执行记录...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
- 产品推荐
- 这些文档可能帮助您