数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
系统管理
配置引擎任务使用的资源组 您可在系统管理页面指定数据分析中不同类型引擎运行的SQL查询、数据上传任务所使用的资源组。在对应引擎后的下拉框中选择相应 调度资源组 及 数据集成资源组，所选资源组必须与运行任务使用的数据源网络连通，以...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
了解数据资源平台用户和角色体系
数据资源平台提供了完善的权限管控机制，支持以租户或工作组为管控粒度，通过对用户授予不同的角色实现全局或工作组内的各组件功能权限管控。本文为您详细介绍租户、工作组粒度下的角色体系。背景信息 数据资源平台功能权限是基于角色的...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
DescribeColumnsV2-查询数据资产表中列的数据V2
10 TotalCount integer 结果中数据的总条数。12 Items object[]数据表的列的识别结果列表。CreationTime long 数据资产表中列数据的创建时间毫秒数。1536751124000 TableName string 订正目标列所属的表名。it_table DataType string 数据...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
索引加速
本文主要介绍 云数据库 SelectDB 版 中内建的智能索引以及使用时的注意事项。背景信息 索引用于快速过滤或查找数据。目前 云数据库 SelectDB 版 主要支持两类索引：内建的智能索引，包括ZoneMap索引和前缀索引。创建的二级索引，包括倒排...
Redis持久化与备份恢复
数据恢复 从备份集恢复至新实例 Redis 支持从指定的备份集创建新实例，新实例中的数据将和该备份集中的数据一致，可用于数据恢复、快速部署业务或数据验证等场景。通过数据闪回按时间点恢复数据 开启数据闪回功能（基于 AOF）后，在备份...
Tair持久化与备份恢复
数据恢复 从备份集恢复至新实例 Tair 支持从指定的备份集创建新实例，新实例中的数据将和该备份集中的数据一致，可用于数据恢复、快速部署业务或数据验证等场景。通过数据闪回按时间点恢复数据 开启数据闪回功能（基于 AOF）后，在备份文件...
测试数据构建
您可以通过DMS提供的测试数据构建功能，批量生成各类随机值、地区名、虚拟IP地址等信息，有效减轻您准备测试数据的负担。准备工作 已在数据库下创建表。建表操作，请参见 创建表。本文示例中数据库为 poc_dev，表为 big_table。操作步骤 本...
RestAPI（HTTP形式）数据源
否 无 dirtyData 当从指定的column json路径中找不到数据时的处理方式。dirty：当一条数据解析时遇到column找不时这条数据置为脏数据。null：当一条数据解析时遇到column找不到时，这个column设置为null。是 dirty requestTimes 从RESTful...
入门概述
项目主要由项目成员、数据库、工单组成，项目成员通过 SQL 窗口或者提交工单的方式操作拥有相关数据库访问权限的数据库，工单提交后根据该数据库环境对应的管控策略由指定的项目组成员审批或者免审批，完成一次数据库操作。5 项目中添加...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
创建与使用逻辑组
您可以在 数据库备份DBS 中添加多个逻辑组，可根据来源、项目、类型等维度将数据源添加至对应逻辑组中，以便更好地管理多个数据源。创建逻辑组 访问 逻辑组列表 页面，然后在上方选择目标地域。单击 添加逻辑组。每个地域的逻辑组上限为20...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
CREATE DATABASE
说明 在这个例子中，如果指定的语言环境与 template1 中的语言环境不同，则需要 TEMPLATE template0 子句。（如果不是，则明确指定区域设置是多余的。用不同的语言环境和不同的字符集编码创建数据库 music2：CREATE DATABASE music2 LOCALE...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
迭代器功能说明
在区块编辑器面板中可先添加一个或多个组件组成的单元模板（即成组），再通过迭代器的数据驱动，生成一个列表，列表项的数量与迭代器数据中数组的长度一致。本文介绍迭代器的功能及操作说明。迭代器即列表生成器，列表中每一项称为一个迭代...
删除数据
但是你也可以删除匹配条件的一组行，或者你可以一次从表中删除所有的行。可以使用DELETE命令删除行，它的语法和 UPDATE 命令非常类似。例如，要从产品表中删除所有价格为 10 的产品，使用：DELETE FROM products WHERE price=10;如果你只是...
快速入门
创建入湖模板 创建入湖模板，可以定时或者手动的执行数据抽取任务，将数据源中指定的数据抽取到数据湖。当前入湖模板支持5种数据抽取方式，可以根据数据抽取的场景选择并创建入湖模板。入湖模板需要指定抽取数据的具体位置。指定RAM角色，...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
通过DTS采集数据
本案例采用手动插入数据的方法，但在实际情况中，都是将用户的购买行为，通过程序的方式动态同步到数据库中的。进行数据抽样时，指定的时间必须在您插入数据之前。参考 创建 MySQL 到 MaxCompute 数据实时同步作业 的同步原理章节，了解...
配置API输入组件
读取JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。请求次数 支持 一次请求 和 多次请求。一次请求：只进行一次请求。多次请求：根据指定循环的参数，进行多次请求。请求参数：需要在Parameters或Body中配置，...
概述
给定表的每行具有相同的一组指定的列，并且每列具有特定数据类型。虽然每行中的列具有固定顺序，但请务必记住，SQL不以任何方式保证表中的行顺序（但可以为显示而显式排序行）。表分组到数据库中，并且由单个 PolarDB PostgreSQL版（兼容...
配置API输入组件
读取JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。请求次数 支持 一次请求 和 多次请求。一次请求：只进行一次请求。多次请求：根据指定循环的参数，进行多次请求。请求参数：需要在Parameters或Body中配置，...
DELETE
语法限制 DELETE的WHERE子句中，必须给出能够唯一定位一行数据的完备主键条件。一条DELETE语句只能删除一行数据，不支持一条语句删除多行。删除操作并非是先读取再删除，而是直接写入删除标记。所以无论被删除的行是否存在，删除都会成功。...
功能特性
以便客户对流式数据的进行分发与消费 Project操作 Group操作 Topic操作 Shard操作 数据同步 同步至Hologres 将Datahub中的数据同步至Hologres中指定的具体表 创建同步Hologres 同步至MaxCompute 同步Datahub中的数据至MaxCompute指定的具体...
授权与回收数据源权限
如果您选择 用户组，则需要选择 用户组 和 有效期至。支持选择多用户组授权，不超过20组。权限类型 选择需申请的权限类型，支持 同步读、同步写、执行。同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标...
授权与回收数据源权限
如果您选择 用户组，则需要选择 用户组 和 有效期至。支持选择多用户组授权，不超过20组。权限类型 选择需申请的权限类型，支持 同步读、同步写、执行。同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标...
热力线层
最大透明度：热力线的最大透明度，根据数据中每条线对应的 value 值来设置线透明度。数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式。其中每条线的 value 值可在 properties 字段中配置。说明 根据...
写数据表
用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 查看上游节点输入到当前节点的字段...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
外部数据
本文介绍了外部数据的相关内容。简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在...
复制数据库SQL Server 2008 R2版
若您需要创建一个与现有数据库数据完全相同的数据库，您可以使用复制数据库的方式。本文介绍如何通过RDS控制台复制并创建新的数据库。前提条件 实例版本为SQL Server 2008 R2。说明 SQL Server 2008 R2（本地盘）实例支持通过RDS控制台复制...
新建过滤器
数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过以下两种方法新建过滤器。通过 数据过滤器 新建。在...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
- 产品推荐
- 这些文档可能帮助您