数据调度-数据调度文档介绍内容-阿里云

查看并管理定时调度补数据任务

定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口请参见运维中心入口，进入运维中心。按照下图操作指引...

查看并管理定时调度补数据任务

定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口在Dataphin首页，单击顶部菜单栏的研发。默认进入数据 ...

数据集成调度策略说明

DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库支持全量数据...

Quick Audience数据表自动调度完成后，在用户360页面...

解决方案数据导入任务数据表同步自动调度后，需要再次手动调度数据表同步任务，即可将最新的数据同步过来。或者数据导入任务数据表同步自动调度后，不要再次在数据库修改该表的字段值，该表内容则是和用户360页面标签值展示一致。适用于 ...

场景：调度参数在数据集成的典型应用场景

场景二：同步动态表名或文件名中的数据调度参数可以为数据集成任务配置中定义的变量进行赋值。示例1：动态文件名。每日将OSS指定目录下文件名为时间日期结尾的文件同步至MaxCompute对应分区中。说明如果要实现同步动态表名或文件名中的...

Dataphin计算任务正常调度和补数据结果不一致

问题描述 Dataphin计算任务正常调度和补数据结果不一致。问题原因日志中的两次执行计划不一样，有些源表没有读取数据，一因为执行任务的时候该源表的分区数据为空。解决方案查看没有读的源表分区数据产出时间，调整计算任务调度时间在源...

Quick Audience数据导入中调度任务执行失败报错提示表...

问题描述 Quick Audience数据导入中调度任务执行失败，报错提示表分区无数据是什么原因？问题原因调度任务查询的分区日期是当天，而Dataphin中的业务数据日期是前一天。解决方案数据导入的任务调度的分区日期与业务数据分区日期保持一致...

Dataphin补数据任务空跑调度了是什么原因

补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每个月的1日，所以补数据选择20220930时任务是空跑运行的。解决方案在调度...

数据缓存亲和性调度优化

通过Fluid提供的数据缓存亲和性调度优化能力，您可以设置应用Pod上的亲和性配置，让应用Pod优先访问同节点、同可用区节点或同地域节点的缓存数据，从而提高应用Pod访问数据的效率。使用限制数据缓存亲和性调度优化功能仅支持在 ACK集群Pro...

Dataphin中补数据实例处于等待调度状态

问题描述这个调度任务是一天三次，所以补数据之后也有三个实例。但是前两个都执行成功了，最后一个一直是等待调度。问题原因补数据时间选择的是T-1，调度时间设置的是12点，15点，18点。指定补数据时间点是16点，所以12点和15点的补数据...

Dataphin管道任务将逻辑表数据集成到业务数据库中时，...

概述本文主要介绍Dataphin管道任务将逻辑表数据集成到业务数据库中时，调度配置中如何解析逻辑表任务为上游依赖。详细信息由于Dataphin3.3版本开始，管道任务中没有自动解析的按钮，很多用户将逻辑表数据通过管道任务同步到其他业务数据...

Dataphin中对小时调度的事实逻辑表进行补数据操作，...

问题描述 Dataphin中对小时调度的事实逻辑表进行补数据操作，日期选择的是8月3号，但是补数据日志中看是查询的8月4号的数据。这个是什么原因？小时调度的逻辑表中参数bizdate、bizhour配置如下：问题原因产品设计如此，对于小时调度的任务...

Dataphin计算任务自动调度执行后该计算任务中的表未...

问题描述 Dataphin计算任务自动调度执行后该计算任务中的表未产生数据什么原因，手动重跑该计算任务正常写入数据。问题原因查看该计算任务写入数据查询的上游数据表无数据产出导致的，该数据表的分区02:57才创建的，02:55该计算任务已经...

调度原理

本视频向您介绍日志服务数据加工的数据调度原理。

步骤五：设置离线节点的调度信息

如果需要查看历史日期的调度结果，如前几天的调度数据结果，可以使用补数据功能，具体操作，请参见新建补数据计划。2021-10-28~2021-11-05 调度周期调度的执行周期，支持月、周、天、小时和分钟。天具体时间自定义具体开始的时间。18时...

设置离线节点的调度信息

如果需要查看历史日期的调度结果，如前几天的调度数据结果，可以使用补数据功能，具体操作，请参见补数据计划。调度周期支持按月、周、天、小时和分钟调度。具体时间根据选择的周期客户自定义具体开始和结束的时间。时间表达式支持按照...

步骤五：设置离线节点的调度信息

如果需要查看历史日期的调度结果，如前几天的调度数据结果，可以使用补数据功能，具体操作，请参见新建补数据计划。2021-10-28~2021-11-05 调度周期调度的执行周期，支持月、周、天、小时和分钟。天具体时间自定义具体开始的时间。18时...

如何重刷数据

重刷调度任务如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...

如何重刷数据

重刷调度任务如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...

逻辑表调度配置概述

调度属性逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则，包括调度类型、调度周期、条件调度。调度依赖调度依赖用于配置逻辑表任务上游依赖节点。Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障...

如何重刷数据

重刷调度任务如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...

加工原理

本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理日志服务的数据加工功能使用协同消费组对源日志库的日志数据进行流式消费，将每一条日志通过加工规则处理后再输出。调度机制对每一个加工规则，...

用户洞察常见问题

设置底表的调度导入后，建议将人群、RFM模型、AIPL模型设置为跟随底层数据调度更新，这样每次数据表成功导入后，人群、RFM模型、AIPL模型都将自动更新为新的数据。哪些原因会导致数据表导入失败，AIPL模型、RFM模型、自定义标签、人群更新...

通用参考：切换资源组

选中需要修改数据调度资源组的任务，在底部单击更多>修改调度资源组。在修改调度资源组对话框中，修改资源组，选中知悉风险并确认操作后，单击确定。在批量操作页面，选中已修改资源组的任务，然后单击底部的提交。运维中心页面 ...

背景信息以及准备工作

在使用DLA对OSS中的历史数据按天进行清洗时，由于数据清洗的SQL是固定的，只是每次执行的时候需要传入不同的日期，因此我们可以通过DataWorks来循环调度DLA数据清洗任务。针对上述场景，我们需要在DataWorks中完成以下工作：部署一个赋值...

在工作空间创建数据源或注册集群

工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...

整体架构

数仓版（3.0）AnalyticDB MySQL 数仓版（3.0）架构如下：接入层接入层由Mulit-Master可线性扩展的协调节点构成，主要负责协议层接入、SQL解析和优化、实时写入Sharding、数据调度和查询调度。计算引擎计算引擎具备分布式MPP和DAG融合执行...

创建MaxCompute数据源

根据使用场景不同，资源组分为数据集成（用于数据同步）、数据调度（用于任务调度）、数据服务（用于数据服务任务）三种类型。各类资源组的详细介绍，请参见 DataWorks资源组概述。您需根据数据源后续的用途，在连接配置区域对应资源组...

采集数据

单击指定的数据调度资源组连通状态列的测试连通性，等待界面提示测试完成，连通状态为可连通。重要需确保至少一个资源组为可连通状态，否则此数据源无法使用向导模式创建同步任务。单击完成。新建RDS数据源在数据源管理页面，...

新增和使用独享调度资源组

在数据源的编辑页面，单击相应数据调度资源组后的测试连通性，连通状态为可连通时，表示连通成功。说明不同类型数据源的配置界面存在差异，具体请以实际界面为准。若数据源分为开发环境和生产环境，则需分别测试不同环境数据源与资源组...