根据领域对象批量生成相关模型
不生成 重复数据判断规则 支持以下取值：对象编码重复 生成结构对象和数据模型时，仅判断模型的编码是否重复，不对模型字段编码作比较。生成应用服务时，仅判断服务编码是否存在，不判断服务的字段。字段编码重复 生成结构对象和数据模型时...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
数据去重
用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，...
查看并管理已生成实例
已生成实例是对周期任务发起立即运行补数据操作或待生成实例生成的可运行实例。您可以对已生成实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已生成实例。已生成 实例入口 请参见 运维中心入口，...
查看并管理已生成实例
已生成实例是对周期任务发起立即运行补数据操作或待生成实例生成的可运行实例。您可以对已生成实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已生成实例。已生成 实例入口 请参见 运维中心入口，...
新增消费组
通过创建多个消费组，您可以对同一个数据源的数据进行重复消费，从而降低数据订阅的使用成本，提升数据消费速度。注意事项 一个数据订阅实例最多可以创建20个消费组，通过创建多个消费组可以实现数据的重复消费。一个消费组只能创建一个...
生成列
本文介绍了生成列的相关内容。简介 生成的列是一个特殊的列，它总是从其他列计算而来。因此说，它对于列就像视图对于表一样。生成列有两种：存储列和虚拟列。存储生成列在写入（插入或更新）...但相反，不允许访问 BEFORE 触发器中的生成列。
Quick BI数据源MaxCompute创建的数据集数据重复
问题描述 Quick BI数据源MaxCompute创建的数据集数据重复。...问题原因 DataWorks上数据清空表不彻底，重复的数据是清空表前的表分区数据。解决方案 清空表数据应该直接清除表分区，而不是简单的清空数据。适用于 Quick BI 数据源-大数据
新增消费组
通过创建多个消费组，您可以对同一个数据源的数据进行重复消费，从而降低数据订阅的使用成本。注意事项 若您需要消费的单行数据超过16MB，则可能会导致消费客户端内存OOM（Out of Memory）。一个数据订阅实例最多可以创建20个消费组，通过...
步骤五：启动实例并插入数据
本文将指导您完成本教程的FLINK_SQL实时任务的运维，包括实时实例启动与测试数据的写入。步骤一：启动实时任务 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，启动 flink_dataphin 实时任务。启动实时实例对话框，配置启动...
步骤五：启动实例并插入数据
本文将指导您完成本教程的FLINK_SQL实时任务的运维，包括实时实例启动与测试数据的写入。步骤一：启动实时任务 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，启动 flink_dataphin 实时任务。启动实时实例对话框，配置启动...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
基本概念
DataV能将数据由单一的数字转化为各种动态的可视化图表，从而实时地将数据展示给用户。如果您想快速创建一个数据看板，请参见 使用模板创建PC端看板。数据源 在使用DataV创建数据看板时，需要先指定原始数据所在的数据源。DataV支持多种...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
补数据任务概述
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
补数据任务概述
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
事务隔离
事务隔离级别 隔离级别 脏读 不可重复读 幻读 序列化异常 读未提交 允许，但不在 PG 中 可能 可能 可能 读已提交 不可能 可能 可能 可能 可重复读 不可能 不可能 允许，但不在 PG 中 可能 可序列化 不可能 不可能 不可能 不可能 在本数据库...
查看并管理待生成实例
待生成实例是对周期任务发起定时补数据操作时产生的实例，待生成实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待生成实例页面，对待生成实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待生成实例。待生成 ...
查看并管理待提交实例
待提交实例是对周期任务发起定时补数据操作时产生的实例，待提交实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待提交实例页面，对待提交实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待提交实例。待提交 ...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
SELECT
SELECT&WHERE clause SELECT DISTINCT 在查询结果中去除重复的行数据。SELECT DISTINCT Group Aggregation 根据聚合规则对多条记录进行聚合计算后输出。Group Aggregation Joins 关联两张表进行数据关联查询。Joins ORDER BY 将返回结果...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
创建与管理数据模型
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
补数据
产生原因 不在生效日期范围内的节点不生成实例，请检查需要补数据的节点生效时间是否在有效期内。周、月任务如何执行补数据操作 操作说明：周、月调度的任务在补数据时，业务时间请选择真实调度时间的前一天。任务定时时间为定时每周几或...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
实例生成方式：发布后即时生成实例
场景二：更新已发布任务的调度周期 若上下游均为新建任务，但上下游实例的生成方式不一致，可能导致产生 场景：节点孤立。场景三：上下游任务实例生成方式不一致 任务发布后即时生成的实例，其下游会按照上游最新的调度配置（天、月、小时...
防泄露数字水印
为此，DMS数据管理重磅推出防泄露数字水印功能，支持在DMS控制台上添加可见与不可见的数字水印，可大幅提升数据安全性。该项技术由阿里安全团队和策略团队支持，具有极高的安全性和鲁棒性。前提条件 开启该功能的用户角色为管理员。功能...
INSERT ON CONFLICT(UPSERT)
使用数据集成或Flink写入数据时，如果需要对主键重复的行数据执行更新或跳过操作，则需进行如下配置：通过DataWorks的数据集成导入数据。数据集成已内置 INSERT ON CONFLICT 功能，该功能的实现原理请参见 Hologres Writer。同时，您需要...
使用Copilot生成SQL
本文为您介绍如何使用Copilot生成SQL，以提高工作效率。操作步骤 在SQLConsole或Notebook页面上方单击，在对话框中输入查询、分析的自然语言。Copilot会在当前引入的数据库表作用域中进行查找。提出问题后，Copilot会根据表的描述信息和...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
数字输入框
图表样式 数字输入框是高级控件组件的一种，支持自定义数字输入框的背景颜色、文本样式、边框样式以及多种状态下数字输入框按键的样式等，可以作为输入表单在数据看板中使用，将用户的输入提交到后端进行处理。样式面板 搜索配置：单击 ...
维度建模概述
DataWorks的数据建模产品遵循Kimball维度建模理论，使用DataWorks的维度建模功能进行数据仓库模型设计时，您可根据业务情况设计并创建维度表、明细表、汇总表、应用表，并可将模型快速发布到相应的研发引擎。同时，还可以使用逆向建模，将...
2D数字人视频合成用户指南
2.5 调整数字人在画面中的大小以及位置 在右侧的预览画面中，通过鼠标拖拽数字人，可移动数字人，调整其在画面中位置；另外拖拽画面下方的缩放条，可以缩放数字人，调整数字人的大小。3 播报内容输入 3.1 文本输入 选择文本输入，您可在...
- 产品推荐
- 这些文档可能帮助您