批量添加数据源
您可以通过 数据库备份DBS 的批量添加数据源功能，快速导入大批量同类型的数据源，便于后续对数据源进行管理与备份。功能说明 批量导入功能仅支持MySQL公网自建数据库。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
API概览
其他 API 描述 AddDatabaseList 调用AddDatabaseList批量添加数据库。CreateDatabaseAccessPoint 调用CreateDatabaseAccessPoint创建数据库访问点。DeleteDatabaseAccessPoint 调用DeleteDatabaseAccessPoint删除数据库访问点。...
备份数据库
如何添加数据源，请参见 手动添加数据源、批量添加数据源、自动添加数据源。添加的数据源已设置数据库账号与密码。具体操作，请参见 设置数据源的账号与密码。已添加数据库备份策略模板。具体操作，请参见 创建备份策略模板。操作说明 登录...
批量添加资源数据
本视频介绍批量添加资源数据的操作步骤。
支持的数据源
当前DBS支持如下三种方式添加数据源：手动添加数据源 批量添加数据源 自动添加数据源 DBS支持的数据源类型请参见下表。数据源类别 数据库类型 阿里云数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB ...
TDE批量加解密插件（rds_tde_utils）
透明数据加密（TDE）需要使用ALTER语句对表或索引进行加解密，为减少您重复加解密的操作，RDS PostgreSQL提供此插件，用于批量加密、解密。前提条件 RDS PostgreSQL实例需满足以下要求：实例大版本为PostgreSQL 10或以上。实例内核小版本为...
数据表管理
前置条件：您已开通产品服务和安装LSCC安全计算客户端，且已定义好数据源。数据表是指具体参与联合计算的数据集合，数据表名称及字段信息会上传到CSCC，用于参与共同计算任务数据的识别。...批量删除：可批量将数据批量删除
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
数据传输服务（上传）场景与工具
功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个批量操作将数据上传到MaxCompute中。例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
管理数据库资产
在进行数据库审计前，您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型，请参见 支持的数据库类型。重要 数据库审计仅支持...
批量更新、删除或插入数据
批量插入数据 您可以通过如下四种方法进行批量插入数据。以下示例中使用的测试表tbl1的建表语句如下：CREATE TABLE tbl1(id SERIAL PRIMARY KEY,info TEXT,crt_time TIMESTAMP);方式一：使用INSERT INTO.SELECT 示例语句-向tbl1表中批量...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
数据查询
添加HBase数据 数据添加操作 仅针对HBase表，SQL表不支持通过此操作添加数据。单击添加。在 添加表数据 对话框中，输入以下参数：参数 说明 row key HBase表的RowKey名称。列名称 需要新增的列名称，填写时必须指定列簇。格式为<列簇名:列...
管理数据库资产
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
SQL处理优化
数据操作DML 数据批量写入以及数据批量修改，都可通过SQL DML执行。SQL引擎对于操作Transactional Table 2.0的DML语法也是做了专门的改造开发，包括特定语法的解析，特定算子的Planner优化，针对pk列的去重逻辑，以及runtime构造Upsert格式...
管理数据
步骤一：添加数据域 添加数据域前，建议您根据业务单元或组织架构等规划需要添加的数据域名称和层级关系（最多支持创建三级数据域），然后重复执行以下步骤添加多个数据域。您也可以使用批量导入功能添加数据域。具体操作，请参见 更多操作...
Flink数据导入
Flink会接收实时数据，当接收到的数据行数达到最大写入行数后，再将数据批量写入 AnalyticDB MySQL版 集群。可选取值如下：0：最大行数为0时，批量写入数据功能仅考虑 sink.buffer-flush.interval 配置，即只要满足最大间隔时间就会开始...
导入结构和数据
新建导入任务 示例：将本地磁盘中表 employee 和 salary 的结构和数据批量导入到数据库 odc_test 中。信息项 示例值 所属数据源 mysql4.2.0 数据库名称 odc_test 表名称 employee,salary 在 工单 页签中单击 导入>新建导入。在弹出的任务...
手动添加DBS IP地址至数据库白名单
使用数据库备份DBS时，如果数据源为 有公网IP:Port的自建数据库，您需要手动将DBS IP地址添加到自建数据库的安全设置（通常为防火墙）中，才能成功添加数据源或备份数据库。使用说明 分类 说明 系统自动添加 当源或目标数据库是阿里云数据...
INSERT OVERWRITE SELECT
功能原理 INSERT OVERWRITE SELECT 会先清空分区中的旧数据，再将新数据批量写入到分区。如果表是分区表，INSERT OVERWRITE SELECT 只能覆盖数据涉及到的分区，数据未涉及的分区不会被清空并覆盖写入。如果表是非分区表，INSERT OVERWRITE ...
FineBI
添加表 单击左侧导航栏中的 数据准备>实时数据>业务包>添加表，选择之前配置的 AnalyticDB MySQL版 链接，选择表的种类，将数据集添加进数据决策系统，进行后续的数据分析和仪表板展示。数据库表：即直接添加 AnalyticDB MySQL版 中的表。...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
项目管理（新版）
ACL：支持对Resource类型角色批量添加多个Project对象进行授权。说明 提交的时候注意不要关闭进度条或页面，否则授权将会被中断。Policy：主要解决ACL授权机制无法解决的Admin类型权限以及Resource类型权限对一些复杂授权场景，如一次操作...
GBase8a数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
ClickHouse数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } ClickHouse Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。是 无 table 所...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
Salesforce数据源
在开始读取数据之前，Salesforce服务端需要先运行准备批量数据的任务，如果该任务运行时间超过本配置，则视为准备数据超时，任务失败。86400 batchSize 否 单批下载条数。当serviceType配置为bulk2时使用。本配置只需要比Salesforce批量...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
DB2数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。是 无 jdbcUrl 描述的是到...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图...
导出结构和数据
新建导出任务 示例：将数据库 odc_test 中表 employee 和 salary 的结构和数据批量导出到本地磁盘。信息项 示例值 所属数据源 mysql410 数据库名称 odc_test 表名称 employee,salary 在 工单 页签中单击 导出>新建导出。在弹出的 导出 面板...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
Tunnel SDK常见问题
如何使用TunnelBufferedWriter规避使用Tunnel SDK进行批量数据上传出错的问题？Tunnel SDK Download 使用Tunnel SDK下载数据时，报错You need to specify a partitionspec along with the specified table，如何解决？其他问题 BlockId是否...
- 产品推荐
- 这些文档可能帮助您