血缘查看
使用DataWorks数据地图查看表或数据服务API时，可在对应的详情页面查看详细的血缘信息，这对于数据溯源及管理有很大帮助，本文为您介绍数据地图的血缘查看能力。表血缘 查找某张表并进入表详情页面后，您可以单击 血缘信息 页签，查看表级...
功能发布记录（2022年）
阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、数据地图、数据安全、数据分析（独...
创建与管理下载任务
说明 字段重命名在字段显示内容里设置：如果配置自助取数或交叉表的 数据展示格式 为 自动，且没有设置对齐方式、字段重命名等，则导出的Excel中的数据不带格式，此时选择带格式Excel或纯数据Excel，效果一致。如果配置自助取数任务或者...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
数据接入任务
数据接入任务模块为您提供设备数据接入和数据开发跟踪管理功能。数据接入任务的界面如下图所示，界面上方为您介绍“为什么会有数据接入任务”，以及“如何完成数据接入任务”。该模块任务主要来源于：接口导入：您在“数据服务”模块开通的...
如何上传自己的Excel表格到智能报表？
概述 介绍上传自己的Excel表格到智能报表的操作指引。详细信息 上传Excel至智能报表生成数据指标：【电脑钉钉】-【工作】-【智能报表】-【进入智能报表后台】-【上传的数据】，可看到之前自己或别人上传的Excel表格，点击最后的【+】可上传...
根据领域对象批量生成相关模型
终止生成数据：只要应用服务、应用服务方法、结构对象或者数据模型中有任何一个编码与已有数据编码重复，则任何数据都不会生成，生成过程将自动终止。单击 开始生成，待界面提示 生成成功 后，单击 关闭。您可以在 数据模型 和 应用服务 ...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
Datagen
如果您在开发或测试时，需要使用一些测试数据来快速验证业务逻辑，您可以使用Datagen连接器来生成随机数据。Datagen支持计算列语法 Computed Column syntax，使它可以灵活地生成数据。Datagen连接器支持的信息如下。类别 详情 支持类型 源...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
生成数据库脚本
在 数据库类型及版本 下拉列表中选择目标数据库类型，选择生成类型选中 表结构生成语句，选择一个目标数据模型版本，单击 生成脚本。在 数据库类型及版本 下拉列表中选择目标数据库类型，选择生成类型选中 表结构变更语句，选择用于对比的...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
GenerateDataKey
调用GenerateDataKey接口生成数据密钥。使用说明 概述 本接口通过随机数生成器产生数据密钥，使用KMS密钥的初始版本对数据密钥加密，并返回数据密钥的明文和密文。您可以使用返回的数据密钥明文（Plaintext），在KMS之外对数据进行加密。请...
测试环境与工具
写入测试 生成写入数据#${scale}：生成数据的设备数量#${data_file}：生成的数据文件名#${batch_size}：batch的大小 GOGC=500./bulk_data_gen-format lindormtsdbbatch-use-case devops-seed 100-sampling-interval 10s-scale-var${scale}-...
服务支持
数据源管理常见问题 自定义域名常见问题 DataV-TwinFabric 孪生仿真 配置了RAM账号后，为什么搜不到 DataV-Atlas 可视分析地图 数据源问题 DataV-Card可视分析创作间 数据集常见问题 数据集数据源问题 分区值格式说明 如何在钉钉中配置长图...
SSB性能测试说明
sh ssb_dataload.sh 该命令将自动完成SSB数据加载过程，包括数据库、表和数据集的生成以及加载。步骤三：执行查询并 查看测试 结果 通过执行以下命令，您可以方便地查看SSB测试的概览结果，并在当前目录下生成result.csv文件，您可以了解...
构建测试数据
性能测试以TPC-DS 1TB数据为测试数据，使用标准的DSDGEN工具构造样本数据。说明 本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，本文中的测试并不符合TPC-DS基准测试的所有要求。从 TPC官网 下载TPC-...
GenerateDISyncTaskConfigForCreating
调用GenerateDISyncTaskConfigForCreating接口，异步生成创建数据集成同步任务的异步线程ID。后续您需要通过该ID，调用 QueryDISyncTaskConfigProcessResult 接口获取异步生成创建数据集成同步任务需要的参数，通过该参数创建数据集成同步...
模拟数据生成Faker
本文为您介绍如何使用模拟数据生成Faker连接器。背景信息 模拟数据生成Faker是系统内置的连接器，它根据表中每个字段提供的Java Faker表达式生成测试数据。当您在开发或测试时，需要使用一些测试数据来验证业务逻辑时，推荐您使用模拟数据...
动态文件剪枝
动态文件剪枝（Dynamic File...使用案例 测试数据生成：在本节中我们使用TPCDS数据集作为测试数据，主要使用到store_sales和item表，下载包请联系Databricks运维，并上传到您的OSS中，然后再DDI的项目空间中创建Spark作业生成测试数据：class ...
TPC-DS性能测试说明
操作步骤 操作说明 创建ECS实例 登录阿里云，创建一个ECS实例，用于数据生成、向StarRocks导入数据和客户端测试。建议规格具体如下：操作系统：建议使用CentOS或Alibaba Cloud Linux。数据盘：建议使用ESSD数据盘，具体数据容量根据需要...
数据地图：统一管理，跟踪血缘
DataWorks的数据地图功能可以帮助您实现对数据的统一管理和血缘的跟踪。数据地图 以数据搜索为基础，提供表使用说明、数据类目、数据血缘、字段血缘等工具，帮助数据表的使用者和拥有者更好地管理数据、协作开发。
步骤五：启动实例并插入数据
本文将指导您完成本教程的FLINK_SQL实时任务的运维，包括实时实例启动与测试数据的写入。步骤一：启动实时任务 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，启动 flink_dataphin 实时任务。启动实时实例对话框，配置启动...
步骤五：启动实例并插入数据
本文将指导您完成本教程的FLINK_SQL实时任务的运维，包括实时实例启动与测试数据的写入。步骤一：启动实时任务 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，启动 flink_dataphin 实时任务。启动实时实例对话框，配置启动...
管理数据树
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。刷新数据库/文件夹/表 选择需要查看的层级，单击右上角的 图标，完成刷新操作。改变数据库/文件夹显示模式 选择需要查看的层级，单击右上角的 图标或 图标...
创建与管理数据模型
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
计费逻辑说明
数据地图的数据探查功能生成的实例，将会按照数据质量实例进行收费。数据质量规则校验会产生校验SQL并下发到引擎执行，规则运行将会产生引擎费用。该费用在引擎侧收取，不在DataWorks收取，也不会呈现在DataWorks账单中。报警短信和报警...
附录：数据地图权限管控能力总览
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
使用识图创建PC端看板
DataV支持使用模板和识图两种方式创建PC端数据看板，本文介绍如何使用识图创建PC端数据看板。操作步骤 登录 DataV控制台。在 工作台 页面，将鼠标hover在 创建PC端看板 上，单击 识图创建。在识图素材选择页面，您可以使用以下三种方法选择...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
验证数据压缩能力
表创建成功后，在 order 表单中，建立存储过程，并随机插入 20,000 行数据，查看租户资源的使用大小，并与 MySQL 数据库的数据进行比较。说明 由于条件限制，本教程仅 20,000 行数据为例，如您时间充裕，可尝试插入 10,000,000 数据，数据...
实现动态数据加和
本文以 数字翻牌器 组件展示其他两个数字翻牌器组件的实时数据相加结果为例，实现动态数据加和效果。效果展示 操作步骤 登录 DataV控制台。选择任一可视化应用，单击编辑，进入画布编辑器页面。添加3个 数字翻牌器 组件到画布中。单击任一...
准备工作
本文简单介绍分析前的准备工作 第一步：生成数据源 应用诊断分析平台（ATP）只提供 诊断分析 能力，需要您准备数据源以供分析。1.什么是数据源？取决于您想分析的应用问题，数据源有所不同。Q：发现GC频率过快？GC回收效率低下？应用出现...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
本文以Excel为例，介绍如何通过kettle将本地Excel数据迁移到 云原生数据仓库AnalyticDB MySQL版 2.0集群。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库，HBase ...
数据页面管理
空间地图数据展示方式共两种，可以单击数据预览页面右上角的 或 图标进行切换数据样式预览模式。图形预览：数据会以图形的样式展示在地图上。单击地图上的某个图形会显示当前图形的 属性信息 浮窗内容。表格明细数据预览：数据以明细条列的...
数据页面管理
空间地图数据展示方式共两种，可以单击数据预览页面右上角的 或 图标进行切换数据样式预览模式。图形预览：数据会以图形的样式展示在地图上。单击地图上的某个图形会显示当前图形的 属性信息 浮窗内容。表格明细数据预览：数据以明细条列的...
添加数据
添加地图数据 在画布编辑器页面，单击选中 基础平面地图 组件。在右侧的 数据 面板中，单击 等值面层。在 等值面层 的 数据 面板中，单击 插值点数据接口。说明 等值面层 的数据包括了 裁剪边界数据接口 数据和 插值点数据接口 数据。由于...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
路网轨迹层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式 和基础平面地图的 地理边界geojson数据接口。配置字段说明 字段 说明 geometry 定义type类型为"LineString。coordinates 定义两个或多个经纬度坐标...
项目编辑器页面管理
选择地图数据集数量 单击地图右下角的数据集下拉列表，为当前地图选择显示一个合适的地图数据集数量值，可选 200条/数据集、400条/数据集600条/数据集、800条/数据集 和 1000条/数据集。重新加载 单击地图右下角的 重新加载，即可重新加载...
- 产品推荐
- 这些文档可能帮助您