租户设置
说明 如果您的租户不支持恢复，可能的原因有以下几种情况：已使用的数据处理单元数大于剩余的可分配的数据处理单元。已使用的质量规则数大于剩余的可分配的质量规则数。租户功能存在降配的情况。租户已配置的调度资源（CPU或内存）超过系统...
公告
2023年07月11日-数据处理单元拓展及数据萃取功能下架通知 2023年07月11日起，Dataphin售卖变更如下：智能研发版和基础研发版可选的数据处理单元规格拓展，支持3500、4000、4500、5000。数据萃取功能下架，不支持新购和升级，历史已购客户...
DataWorks On MaxCompute使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
查看数据迁移项目的详情
执行数据库对象处理 该步骤为处理数据迁移阶段忽略或者数据传输暂不支持的对象，以确认业务割接切换至目标端后可以正常工作。迁移数据库对象至目标端：该操作需要您自行迁移源端触发器、函数、存储过程等其它数据传输不支持的数据库对象至...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
功能更新动态（2022年之前）
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
文档更新动态（2022年之前）
通用功能 概述 2020-04-09 数据处理 功能拓展 新增实时数据处理，帮助您处理实时计算任务。通用功能 实时数据处理 2020-04-09 实时元表 新增功能 为您介绍如何查看实时元表的详情。通用功能 元表详情 2020-04-09 函数权限 新增功能 为您...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
配置学区地图Tab列表交互
在 id=2：初中 的 串行数据处理 节点与 公办初中点 和 民办初中 的连线中分别添加两个 串行数据处理 节点，并分别命名为 schooltype=公办 和 schooltype=民办。串行数据处理 节点添加完成后，最终效果实现双重判断标准，部分截图如下所示。...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
过滤器在蓝图中的应用
选中串行数据处理节点，在右侧 节点配 置 面板中的 处理方法 模块单击 新建，新增一个过滤器。修改过滤器名称为 柱状图串行处理，并使用以下代码替换初始过滤代码。return data.splice(0,3)/过滤出前三项数据 单击过滤器下方的 保存。再次...
过滤器在蓝图中的应用
选中串行数据处理节点，在右侧 节点配 置 面板中的 处理方法 模块单击 新建，新增一个过滤器。修改过滤器名称为 柱状图串行处理，并使用以下代码替换初始过滤代码。return data.splice(0,3)/过滤出前三项数据 单击过滤器下方的 保存。再次...
配置逻辑表数据延迟
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口 进入数据 开发 页面。在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。...
配置逻辑表数据延迟
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。...
操作示例
在蓝图编辑器页面，将 图层节点 面板中的 Tab列表 和 通用标题 以及 逻辑节点 面板下的 串行 数据处理 节点拖至画布上。在 逻辑节点 面板中，将 条件判断 节点拖动到画布上并连线到 串行 数据处理 节点之前。选中 条件判断 节点，在右侧的 ...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
配置学区地图轮播列表交互
连线完成后，每条连线中间会自动添加一个 串行数据处理 节点，将节点分别命名为 提取散点数据 和 地图父组件定位缩放。具体操作方法请参见 什么是蓝图编辑器。将 初中学校列表 和 小学学校列表 的 当点击单行时 事件分别与 提取散点数据 和...
导入数据接口和请求数据接口区别
接口区别示意图 接口区别详细介绍 请求数据接口：重新请求服务端数据，上游 数据处理 节点或 图层节点 抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到请求数据接口动作的数据为 { id:"1"}，则最终请求...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
实现时间戳联动
本文档以 时间器 组件和 通用标题 组件之间...串行数据处理 节点负责将上游抛出的事件内容进行加工处理，传递给 通用标题 组件作为请求时的 query 参数，也就是替换掉第二步操作中填写的 变量名。单击页面右上角的 预览 图标，预览展示结果。
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
实现动态样式
单击 逻辑节点，添加2个串行数据处理节点到蓝图主画布中。连接组件，为串行数据处理节点增加说明。配置串行数据处理节点处理方法。更新翻牌器value值 return[{value:data.id=1?30:50}];配置数字颜色 返回画布编辑器页面。单击 数字翻牌器 ...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
- 产品推荐
- 这些文档可能帮助您