基本概念 数据流及后备索引 数据流 由一个或多个自动生成的后备索引组成,每个数据流都需要一个匹配的索引模板,该模板包含用于配置数据流的后备索引的映射和设置。相同的索引模板可用于多个数据流,但不能删除数据流正在使用的索引模板。...
在页面下方配置数据流信息。单击 数据流信息 页签,在 基础属性 区域修改 数据流名称、描述、责任人、相关人员。如果您需要调度数据流,在 调度配置 区域,打开 开启调度 开关,配置调度。参数 说明 调度类型 选择调度类型:周期调度:周期...
本文介绍如何开通和配置流数据服务Confluent集群。开通购买流程 在 流数据服务Confluent管控页 进行集群初始化配置、网络设置等,并完成商品购买和集群部署。目前,流数据服务Confluent开通的Region为:北京、上海、深圳。如有新增Region...
完成数据流的配置或变更后,您需要通过发布操作将最新的数据流发布,有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据集成>离线集成。单击数据流名称,进入数据流详情页面。可选:...
在数据管理DMS离线集成中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
单击左上角的,在 新增数据流 对话框中,您需在 数据流名称 配置ETL任务名称,选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置,配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧,将 表 Join 节点拖拽至页面右侧...
单击左上角的,在 新增数据流 对话框中,您需在 数据流名称 配置ETL任务名称,选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置,配置方法请参见 配置源库信息。完成转换组件的配置,配置方法请参见 配置转换组件。在页面左侧,将 ...
单击左上角的,在 新增数据流 对话框中,您需在 数据流名称 配置ETL任务名称,选择 开发方式 为 DAG。单击 确认。在页面左侧,将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1,根据页面信息配置...
单击左上角的,在 新增数据流 对话框中,您需在 数据流名称 配置ETL任务名称,选择 开发方式 为 DAG。单击 确认。根据页面信息完成ETL任务配置。创建ETL任务。说明 下文以 输入/维表 MySQL、字段计算器 和 输出 MySQL 节点为例进行介绍。源...
单击左上角的,在 新增数据流 对话框中,您需在 数据流名称 配置ETL任务名称,选择 开发方式 为 DAG。单击 确认。执行如下操作,配置流表和维表信息。配置流表信息 页面左侧,将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击...
单击左上角的,在 新增数据流 对话框中,您需在 数据流名称 配置ETL任务名称,选择 开发方式 为 FlinkSQL。单击 确认。在 数据加工 页面的 数据流信息 部分,添加源库和目标库。参数 说明 地区 选择数据源所在地域。类型 选择库表类型。...
本章节介绍数据处理-任务配置相关功能。平台可支撑自动驾驶生产线的全流程工作,包括 数据导入、数据标准化、数据预处理、数据预标注、人工标注、数据输出 等。您可拖拽所需任务节点,为其设置属性后,通过连线来快速构建所需工作流,并为...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
由于本案例的RDS数据库位于华东1区,而流计算项目位于华东2区,所以需要在RDS数据库中配置流计算的白名单。创建流计算开发作业,将DataHub中的数据实时同步到RDS的目标表中。进入 阿里云流计算开发平台,单击 开发>作业开发>新建作业,创建...
限流策略:配置行限流和数据大小限流。备注 可在 备注 文本框中输入不超过 200 个字符的描述信息,该项为选填项。单击 新建,完成新建数据归档。任务生成后可以在 工单>数据归档 列表中查看任务信息。查看数据归档任务 任务信息 在 任务...
数据源功能概述 配置数据源时,您需要了解如下内容:能力 说明 数据源支持情况与配置 在配置数据集成同步任务前,您需要提前在DataWorks数据源管理页面配置好需要同步的数据源。数据集成目前支持几十种数据源,目前支持的数据源及其配置...
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
在 设置数据源 页面中,可修改数据源的类型和脚本、配置数据过滤器并查看数据响应结果。修改数据源的类型和脚本 在 设置数据源 页面中,在 数据源类型 列表中可修改数据源类型。系统支持的数据源类型以及各数据源的配置详情,请参见 管理...
tableProperties 是 指定数据流表的属性,包括以下配置项:VALUE_FORMAT:必选项,指定数据源写入Lindorm流引擎的数据格式,包括CSV、Avro、JSON等格式。KEY_VALUE:必选项,指定数据流表的主键列。STREAM_TOPIC:必选项,指定数据流表的...
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下:只能包含中文、字母、数字、下划线(_)或中划线(-)。长度不能超过64字符。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源:如果业务数据源...
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下:只能包含中文、字母、数字、下划线(_)或中划线(-)。长度不能超过64字符。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源:如果业务数据源...
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
访问模式 RAM角色授权模式 Access Key模式 选择角色 当访问模式为 RAM角色授权模式,选择RAM角色,详情请参见 通过RAM角色授权模式配置数据源。AccessKey ID 当访问模式为 Access Key模式,需输入AccessKey信息,详情请参见 查看RAM用户的...
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
在右侧样式面板中选择 数据 页签,单击 配置数据源。在 设置数据源 对话框中,数据源类型 选择 静态数据。在下方的数据配置区域内,按照您的需求修改模板已有的数据,或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置...
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下:只能包含中文、字母、数字、下划线(_)或中划线(-)。长度不能超过64字符。数据源描述 用于填写数据源的相关的描述信息,如业务信息、来源等。不得超过128个字符。数据源配置 ...
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下:只能包含中文、字母、数字、下划线(_)或中划线(-)。长度不能超过64字符。数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源:如果业务...
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....
本文介绍流数据服务Confluent集群配置资源规格评估建议。对于流数据服务Confluent集群来说,影响资源使用的因素众多,其中包括使用的业务场景、业务应用程序性能等非流数据服务Confluent服务控制因素,因此给出确切的资源规模评估是一件...
数据源编码 配置数据源编码后,您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema....