编辑脚本
在执行脚本文件前，需为脚本配置输入、输出项。不同类型的脚本需配置的输入输出项不同，详细信息请参见 脚本输入/输出配置。脚本文件的输入、输出项配置完成后，单击 执行，即可执行该脚本文件。并可在任务列表中查看任务执行结果等信息。...
自定义血缘配置
支持配置输入输出表的所属环境，如果所属环境选择了”自动“，将在提交和发布阶段自动替换环境参数生成对应开发环境和生产环境的血缘。配置血缘 在Dataphin首页的顶部菜单栏，单击 研发。在数据 开发 页面，按照下图操作指引进入 血缘配置 ...
自定义血缘配置
支持配置输入输出表的所属环境，如果所属环境选择了”自动“，将在提交和发布阶段自动替换环境参数生成对应开发环境和生产环境的血缘。配置血缘 在Dataphin首页的顶部菜单栏，单击 研发。在数据 开发 页面，按照下图操作指引进入 血缘配置 ...
界面概览
云工作流 提供一个低代码、可视化的工作流设计器Workflow Studio，您可以直接在Workflow Studio创建和编辑工作流流程、为流程中各步骤配置输入输出过滤规则以及配置错误处理规则等。本文介绍Workflow Studio的界面总览。Workflow Studio...
DataStudio侧实时同步任务配置
目前，同步单表数据支持的输出数据源类型及其配置如下：配置MaxCompute输出 配置Hologres输出 配置DataHub输出 配置Kafka输出 配置Elasticsearch输出 配置输入、输出组件的上下游关系。添加完输入、输出组件后，您可以根据业务需求，通过...
查看版本
input 节点的输入输出配置，取值如下：str：输入或输出的值。refTableName：输出表。parseType：输入输出的添加方式。取值如下：0：自动解析。1：手动添加。2：系统生成。详情请参见 调度依赖配置指引。inputList output outputList ...
设备输入
本文介绍在蓝图编辑器中，配置输入设备类节点的方法。目前输入设备内的逻辑节点只包括键盘。键盘 键盘 节点用于监听键盘设备。使用场景：键盘 节点用于需要键盘参与交互的场景。例如，使用上下左右方向键控制一张图片的移动。添加 键盘 ...
集成组件库开发说明
ClickHouse 配置ClickHouse输入组件 TDH Inceptor 配置TDH Inceptor输入组件 Kafka 配置Kafka输入组件 DataHub 配置DataHub输入组件 DM 配置DM（达梦）输入组件 API 配置API输入组件 GBase 8a 配置GBase 8a输入组件 TiDB 配置TiDB输入组件 ...
设置调度依赖最佳实践
本文将为您介绍如何配置任务调度依赖的输入输出。配置任务的本节点输入 您可以通过以下两种方式配置本节点输入：使用代码自动解析功能，解析出任务的依赖。手动输入任务依赖（手动输入父节点的 本节点的输出名称）。说明 手动输入上游节点...
集成组件库开发说明
SAP Table 配置SAP Table输入组件 DataHub 配置DataHub输入组件 Greenplum 配置Greenplum输入组件 输出组件 组件名称 组件配置 MYSQL 配置MySQL输出组件 Elasticsearch 配置ElasticSearch输出组件 MaxCompute 配置MaxCompute输出组件 ...
功能简介
支持通过可视化方式配置上下游计算节点的依赖关系，并配置输入、输出参数的对应关系。支持根据配置的输入信息，自动解析外部依赖节点信息。支持输入和输出参数选择任意结构。支持开发场景的运行和上线。支持自动生成数据质量检查节点（当...
功能简介
支持通过可视化方式配置上下游计算节点的依赖关系，并配置输入、输出参数的对应关系。支持根据配置的输入信息，自动解析外部依赖节点信息。支持输入和输出参数选择任意结构。支持开发场景的运行和上线。支持自动生成数据质量检查节点（当...
数据开发
支持通过可视化方式配置上下游计算节点的依赖关系，并配置输入、输出参数的对应关系。支持根据配置的输入信息，自动解析外部依赖节点信息。支持输入和输出参数选择任意结构。支持开发环境场景的部署、运行和上线。支持自动生成数据质量检查...
创建流程
单击选中 Request 节点，为其设置 基本配置、输入配置、输出配置 和 错误处理，然后依次单击 保存 和 退出。基本配置 涉及的重点配置项如下，其余配置项选择默认值即可。关于 输入配置、输出配置和错误配置 的更多信息，请参见 基于空白...
代码解析结果对比
功能介绍 提交节点时，若节点当前版本的调度依赖（即在 调度配置>调度依赖 区域配置的输入输出）与该节点在生产环境的调度依赖不一致，将出现输入输出变更提示（例如，当前最新版本与上个版本比较，新增或删除了哪些输入或输出）。...
概述
各节点的使用方法以及参数详情，请分别参见 全局节点、流程控制、数据处理 和 输入设备。配置逻辑节点 在画布中单击或拖动逻辑节点到画布中，即可在右侧的配置面板中配置节点交互逻辑（全局节点 不需要配置）。各节点的共同配置如下。参数 ...
创建流程
依次选中流程图中的状态节点或流程节点，为其设置 基本配置、输入配置、输出配置 和 错误处理，然后依次单击 保存 和 退出。本文以任务状态InvokeFunction为例，需设置的重点配置项如下，其余配置项选择默认值即可。配置类型 配置项 说明 ...
触发器
在 创建触发器 面板进行 输入配置、输出配置、权限配置、通知配置。参数 说明 输入存储桶 当前需要创建触发器的文件所在的Bucket。路径前缀 选择文件的路径前缀，配合过滤规则制定要进行数据处理的文件。过滤规则 指定路径前缀和过滤规则对...
批处理
在 创建批处理 面板进行 输入配置、输出配置、权限配置、通知配置。参数 说明 输入存储桶 当前需要创建批处理的文件所在的Bucket。选择模式 可根据需要选中 选择文件 或 选择前缀。选择文件：选择特定的多个文件进行数据处理。选择前缀：对...
部署异步推理服务
说明 在4 GB内存的默认配置下，由于最大数据体积默认为8 KB，则输入输出队列均可以存放230399条数据，如果您需要在队列子服务中存放更多数据项，可以参考上文中的内存配置，将内存大小按照需要提高。系统将占用总内存的10%。对于同一个队列...
Logstash配置文件说明
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。本文为您介绍阿里云Logstash管道配置文件的详细说明。本文内容参考...
配置和使用硬件终端
调节输出/输入设备的音量 单击 偏好设置，在 声音 页签下，根据需要选中 输出设备 或 输入设备 并按照设置音量。配置鼠标和键盘 单击 偏好设置，在 人体工学输入设备 页签进行以下配置：鼠标设置：可设置鼠标的跟踪速度和鼠标主按键。键盘...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
配置和使用盒式云电脑终端AS01
调节输出/输入设备的音量 单击 偏好设置，在 声音 页签下，根据需要选中 输出设备 或 输入设备 并按照设置音量。配置鼠标和键盘 单击 偏好设置，在 人体工学输入设备 页签进行以下配置：鼠标设置：可设置鼠标的跟踪速度和鼠标主按键。键盘...
发布中心概述
同时，根据节点是否存在跨工作空间依赖，您可以基于业务需求配置发布环境的 依赖映射 参数，不同配置情况，节点发布后的上下游依赖及输入输出名称不同，详情请参见下文的 节点依赖关系及输入输出变更。发布MaxCompute引擎类任务，系统会...
使用MapReduce处理JindoFS上的数据
JindoFS目前已兼容大部分HDFS接口，只需要将MapReduce作业的输入、输出目录配置到JindoFS，即可实现读写JindoFS上的文件。Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
步骤三：配置节点运行配置
针对不能自动解析输入和输出参数的节点类型，当需要了解资产中字段血缘关系时，在配置好输入和输出参数后，单击 字段血缘配置，手动配置输入和输出表的字段映射关系。其中不能自动解析输入和输出参数的节点包括：MaxCompute MR、Hadoop、...
步骤三：配置节点运行配置
针对不能自动解析输入和输出参数的节点类型，当需要了解资产中字段血缘关系时，在配置好输入和输出参数后，单击 字段血缘配置，手动配置输入和输出表的字段映射关系。其中不能自动解析输入和输出参数的节点包括：MaxCompute MR、Hadoop、...
前言
工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，并设置资源的默认配置，以及输入输出的格式。提交 App 作业：提交作业时，按照上述资源配置启动虚拟机镜像或 Docker 镜像，使用用户输入的数据运行软件...
配置脚本模式组件
columnMapping：输入输出字段映射关系配置，不区分顺序。parameter：组件参数请参见对应组件的说明。单击 确认，完成 脚本模式 输出组件的属性配置。后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。具体...
文档更新动态（2023年）
更新说明 通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 调度配置 支持设置不依赖corn表达式的固定间隔时间的调度。...
计算节点配置说明
运行配置 各类型计算节点的输入、输出以及运行参数，部分节点类型支持解析，部分节点类型需要手动添加，请大家根据实际状况操作。说明 当画布中输入算法语句，工具栏（解析）图标可用，则表示该类型节点的算法语句的输入输出和运行参数支持...
计算节点配置说明
运行配置 各类型计算节点的输入、输出以及节点变量参数，部分节点类型支持解析，部分节点类型需要手动添加，请大家根据实际状况操作。说明 当画布中输入算法语句，工具栏（解析）图标可用，则表示该类型节点的算法语句的输入输出和运行参数...
功能更新动态（2023年）
通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 实时研发 实时任务研发体验流程优化：Flink SQL任务支持通过数据源编码的...
创建自定义组件
管道及参数配置与Designer组件界面化参数对应关系如下图所示：具体参数配置说明如下：参数 描述 输入 自定义组件通过输入管道获取输入数据或finetune的模型，支持配置以下参数：输入名称：参照界面提示配置输入管道名称。输入来源：指定...
配置脚本模式组件
脚本模式组件用于配置系统组件不支持的配置项，以满足业务场景。操作步骤 请参见 离线...columnMapping：输入输出字段映射关系配置，不区分顺序。parameter：组件参数请参见对应组件的说明。单击 确认，完成 脚本模式输出组件 的属性配置。
配置参数说明
完成输入和输出参数配置后，单击 手动设置血缘 开关，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配...
自定义Python脚本上架
Python组件：上架组件前编写好脚本，只可编辑输入、输出参数，不可修改Python代码。算法包组件：上传算法包方式运行组件。此处选择 Python脚本。分组 目前选择默认分组。运行方式 service实时调用：画布可实时调用组件，组件超时一分钟运行...
LogHub（SLS）实时ETL同步至Hologres
输出字段配置。根据采样的结果提炼出字段（包括SLS的系统字段、TAG、普通字段），数据采样可能不会采样出所有字段，您可以通过单击 手动增加输出字段 添加未采样到的字段。说明 在 输出字段配置 界面也可以 删除 不需要同步的字段。如果您...
- 产品推荐
- 这些文档可能帮助您