上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 ...
上线实时任务
前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
入仓解决方案
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求，创建入仓解决方案同步线上库数据。入仓解决方案...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看...在实时任务列表中，单击目标实时同步任务 操作 列的 详情，查看监控详情，包括当前实例的实例属性和运行日志，接入数据量趋势图的接入数据量、输出数据统计、失败数据统计。
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看...在实时任务列表中，单击目标实时同步任务 操作 列的 详情，查看监控详情，包括当前实例的实例属性和运行日志，接入数据量趋势图的接入数据量、输出数据统计、失败数据统计。
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看...在实时任务列表中，单击目标实时同步任务 操作 列的 详情，查看监控详情，包括当前实例的实例属性和运行日志，接入数据量趋势图的接入数据量、输出数据统计、失败数据统计。
云网管的审计事件
云网管已与操作审计服务集成，您可以在操作审计中查询用户操作云网管产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或...
查看并管理实时任务
实时任务批量操作 实时任务在实时任务页面支持的运维操作如下：操作 描述 启动正式实例 支持同时启动运行多个实时实例。说明 仅适用于Prod和Basic项目，且选中的实时任务均未启动运行。批量启动正式实例不支持实时集成任务。勾选多个 未...
查看并管理实时任务
实时任务批量操作 实时任务在实时任务页面支持的运维操作如下：操作 描述 启动正式实例 支持同时启动运行多个实时实例。说明 仅适用于Prod和Basic项目，且选中的实时任务均未启动运行。批量启动正式实例不支持实时集成任务。勾选多个 未...
查看实时任务监控
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看实时任务监控...在 实时数据同步 页面，单击目标实时任务 操作 列的 监控。跳转到 实时同步任务 页面，可查看实时任务运行详情，更多信息，请参见 查看实时同步任务详情。
查看实时任务监控
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看实时任务监控...在 实时数据同步 页面，单击目标实时任务 操作 列的 监控。跳转到 实时同步任务 页面，可查看实时任务运行详情，更多信息，请参见 查看实时同步任务详情。
查看及管理实时计算任务列表
在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算任务列表入口 在Dataphin首页，单击顶部菜单栏 研发。默认...
查看及管理实时计算任务列表
在Dataphin的实时计算任务列表为您展示了实时任务的基本信息及相关管理操作选项，方便您查看创建的实时任务并进行管理。本文为您介绍实时计算任务列表支持的管理功能。实时 计算任务列表入口 在Dataphin首页，单击顶部菜单栏 研发。默认...
实时同步任务运维
Worker列表是指实时任务启动的实例，非分布式任务只有一个Worker，分布式任务根据并发数会有多个Worker。Task列表是指一个Worker内部的线程任务，分为Reader类型和Writer类型，根据配置的并发数会有1个到多个的Reader任务和1个到多个的...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
嵌入式注册
获取AppID-IsvGetAppId 在您获得ISV服务权限后，即可使用Facebook jssdk进行嵌入式操作，调用 IsvGetAppId 获取到操作必需的 AppID 信息，根据此信息可以拉起SDK进行嵌入式注册操作。代码示例 const onRegisterButtonClick=()=>{ const { ...
UDF（嵌入式）
本文为您介绍如何通过代码嵌入式UDF（Embedded UDF）将Java或Python代码嵌入SQL脚本。背景信息 您可以通过MaxCompute的代码嵌入式UDF解决以下代码实现过程繁琐，且不方便阅读和维护的问题：创建UDF并完成代码开发后，您还需要完成代码编译...
限流配置
使用限制 在进行限流配置前，需要关注以下限制：目前仅支持离线任务限流配置，不支持实时任务（包括实时计算任务和实时集成任务）。最多创建50条限流规则。支持限流配置操作角色的权限说明如下表所示。操作 角色 新增、批量操作 超级管理员...
限流配置
当计算引擎出现性能瓶颈、资源分配不足或需控制任务下发时间和顺序等场景时，通过配置开发或生产环境任务的限流规则，保障系统的稳定性以及业务数据按序及时产出。本文为您介绍如何进行限流配置。背景信息 在未进行限流配置的情况下，任务...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
通用参考：切换资源组
您可先 冻结当天已生成的周期实例，修改资源组后针对目标任务执行 补数据 操作，系统会根据该任务最新配置生成补数据实例。方案二：替换当天未来时间段的实例。您可修改任务执行资源组后选择 发布后即时生成实例，系统会根据该任务最新配置...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
实时模式时间参数配置
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
实时模式时间参数配置
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
新建SHELL任务
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数...
概述
AliOS Things操作系统内核特性如下：可抢占式/协作式任务调度 多任务管理 软件定时器 任务间通信机制包括信号量、互斥量、队列、事件 内存管理 时间功能 随机数 系统信息 系统初始化 工作队列 版权信息 说明 Apache license v2.0 目录结构...
实时研发基本流程概述
步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行指标、配置监控告警等运维操作。步骤五：启动实例并插入数据 可视化分析 非必选。启动实时实例后，...
实时研发基本流程概述
步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行指标、配置监控告警等运维操作。步骤五：启动实例并插入数据 可视化分析 非必选。启动实时实例后，...
新建FLINK_DATASTREAM任务
本文为您介绍如何基于Fusioninsight Flink实时引擎创建FLINK_DATASTREAM任务。前提条件 在您开始执行操作前，请确认项目已 开启实时引擎 并已 配置Fusioninsight Flink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认...
查看实时计算任务详情
实时计算任务是数据开发时发起的实时任务，运维监控支持查看实时计算任务及其详情。本文介绍查看实时计算任务的详情。前提条件 在数据开发中，已新建并运行实时计算任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
新建Flink_SQL任务
本文为您介绍基于Fusioninsight Flink实时引擎如何创建FLINK_SQL任务。前提条件 在开始执行操作前，请确认项目已开启 实时引擎 并已配置Fusioninsight flink为计算源。具体操作，请参见 创建通用项目。权限说明 仅支持 超级管理员、项目...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
- 产品推荐
- 这些文档可能帮助您