支持的目标库

目标库 相关文档 RDS MySQL 导出至RDS MySQL 自建MySQL 导出至自建MySQL OSS 导出至OSS HDFS 导出至HDFS MaxCompute 导出至MaxCompute 另外,AnalyticDB MySQL版 也支持通过异步方式提交数据导出任务,详情请参见 异步提交导出任务。

支持的数据

AnalyticDB MySQL版 提供多种数据导入方案,可满足不同场景下的数据导入需求。数据源 导入方式 相关文档 数据库 RDS MySQL 一键建仓 通过一键建仓同步至数仓版 MySQL...也支持通过异步方式提交数据导入任务,详情请参见 异步提交导入任务。

异步提交导入任务

AnalyticDB MySQL版 支持通过异步方式提交数据导入任务。应用场景 在使用 INSERT INTO 或 INSERT OVERWRITE SELECT 导入数据时,默认是同步执行流程,当数据量较大达到几百GB,客户端到 AnalyticDB MySQL 服务端的连接会中断,导致数据导入...

异步提交导出任务

AnalyticDB MySQL版 支持通过异步方式提交数据导出任务。应用场景 在使用 INSERT INTO 或 INSERT OVERWRITE INTO SELECT 导出数据时,默认是同步执行流程,当数据量较大达到几百GB,客户端到 AnalyticDB MySQL 服务端的连接会中断,导致...

请求结构

Content-Type 类型设置注意 使用POST方式向API提交数据时,需要将HTTP请求的“Content-Type”设置为“application/json”,否则可能会导致API解析失败。使用GET方式向API提交查询,需要将HTTP请求的“Content-Type”设置为“application/...

普通数据变更

本文将通过以下4个例子向您介绍典型场景下的安全规则设定与对应提交数据变更的方式。准备工作 本文已通过DMS的 结构设计 功能在安全协同模式的 poc_prod 生产库和 poc_dev 开发库下创建 data_modify 表。您也可以通过DMS的SQL Console创建 ...

数据填报

提交数据权限:当分析师拥有 提交数据 权限时,仅支持提交数据。应用场景 场景描述 预期效果 场景一:授予数据填报编辑权限 让开发者B(开发者B与资源在同一空间)可以在工作空间下编辑数据填报。场景二:授予提交和管理数据的权限 让分析...

概述

授权后,权限生效的用户可以在该数据填报中管理自己提交的数据,同时也支持提交数据提交数据:用于设置数据填报管理数据的权限。授权后,权限生效的用户可以在该数据填报中提交数据。数据集 支持授予某用户编辑和使用数据集的权限。编辑...

修改实例参数

sink.batch.enable 增量同步 增量迁移 是否以batch(批量提交)的方式发送数据,取值为:true:是,以batch的方式发送数据。false(默认值):否,不以batch的方式发送数据。source.filter.ddl.enable 增量同步 增量迁移 是否过滤DDL,取值...

提交并发布模型

提交模型至开发环境计算引擎 保存数据模型后,DataWorks开发角色需要先提交数据模型至开发环境计算引擎。测试无误后,再发布至生产环境。进入 数据开发 页面。登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中...

数据变更

本文介绍提交数据变更工单时常见的报错及解决方案。根据安全规则设置,禁止直接执行命令类型:XXXX或不允许提交类型为XXXX的变更语句 报错示例:SQL类型检查不通过,根据安全规则设置,禁止直接执行命令类型:XXXX,如果需要,请联系DBA或...

安全托管

导出权限:指提交数据导出工单的权限(非直接导出)。变更权限:指在SQL窗口执行变更语句的权限(SQL窗口执行变更语句受管理员配置约束);拥有提交数据变更、库表同步工单的权限(非直接变更)。提交工单申请权限时,权限的审批人是谁?...

配置DataHub输出组件

说明 一次提交数据量、batchSize、maxCommitInterval三个参数,只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条,超出10000条会导致任务出错,建议将batchSize设置为小于或等于10000条,避免任务...

配置DataHub输出组件

说明 一次提交数据量、batchSize、maxCommitInterval三个参数,只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条,超出10000条会导致任务出错,建议将batchSize设置为小于或等于10000条,避免任务...

访问控制权限概述

拥有提交数据变更、库表同步工单的权限(非直接变更)。导出 指拥有提交数据导出工单的权限(非直接导出)。其他操作 在您了解完资源权限类型后,您可能还需要:管理资源的访问控制权限。不同用户角色管理访问控制的方法。更多信息,请参见...

使用DMS数据追踪进行恢复

步骤一、查找需回滚记录,生成回滚脚本 首先,您需要在DMS控制台提交数据追踪工单申请,审批通过后,根据解析出的日志,选择需要回滚的变更记录,并生成回滚脚本。登录 新版DMS控制台。在页面顶部,选择 数据库开发>数据追踪>数据追踪工单...

查询并下载数据

说明 若规范设置中已开启下载审批,您需提交 数据下载申请 后才可进行下载。审批通过后,您可查看审批任务、当前运行结果或在运行记录中下载数据。更多信息,请参见 数据下载配置。若您已开启数据下载审批水印功能,下载的Excel文件中将...

概览

普通数据变更 通过SQL Console直接输入SQL语句或通过数据变更工单提交数据变更。测试数据构建 批量生成各类随机值、地区名、虚拟IP地址等信息,大大减轻您准备测试数据的负担。无锁结构变更 较好地规避因数据库变更导致锁表进而阻塞业务的...

数据库导出

重要 请在工单执行完成后的24小时内下载导出文件,否则导出链接将会失效,届时您需要重新提交数据导出工单。其他操作 当您成功导出数据后,您可能还需要如下操作:将导出的数据导入另一个数据库中。具体操作,请参见 数据导入。若您的业务...

基本概念

本文将向您介绍DTS帮助文档中相关名词和术语的解释。...每次客户端消费并提交数据更新时,DTS都会将最新的提交时间标记为消费时间点。如果客户端停止响应,DTS会自动从消费时间点恢复,将数据更新发送给下一个健康的消费节点。

表结构发布流程化

可选:前往 SQL Console 插入数据或提交 数据变更工单 对dev_database数据库进行测试。插入数据示例代码如下:insert into teacher(teacher_id,teacher_name,phonenumber)values('t001','teacher001','1380000001'),('t002','teacher002','...

创建标签项目

项目内可以编辑开发并提交数据对象、提交即可更新至生产调度及监控运维。区域 参数名称 描述 归属板块 数据板块 选择项目所属的数据板块。选择归属板块后,即可进行规范建模研发工作。若不选择,则只可进行通用研发工作。说明 若数据板块为...

配置连接器

POST:向指定资源提交数据进行处理请求(例如提交表单或者上传文件)。数据被包含在请求体中,POST请求额能导致新的资源的建立和/或已有资源的修改。PUT:HTTP1.1从客户端向服务器传送的数据取代指定的文档的内容。DELETE:HTTP1.1请求...

API概览

PutStartBackup 该接口用于提交数据备份任务。SetBackupPolicy 该接口用于设置备份策略。EnableSqlFlashbackMatchSwitch 该接口用于执行 PolarDB-X 1.0 数据库使用存储资源RDS的BINLOG中的QUERY信息,精确恢复数据 DescribeBackupSets 该...

请求结构

请求路径 每个请求必须指定请求的 API 路径,即通过 API 要执行的具体操作,...HTTP METHOD 描述 替代参数 GET 获取数据 N/A POST 提交数据 method_override=post PUT 覆盖数据 method_override=put DELETE 删除数据 method_override=delete

查看并管理已提交实例

提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页,单击顶部...

配置同步任务

数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源,支持的版本为HBase V1.1.x、HBase V0.94.x。...

查看并管理已生成实例

查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层,如下图所示。区域 描述 ① ...

查看并管理已生成实例

查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层,如下图所示。区域 描述 ① ...

新建Paimon数据

通过新建Paimon数据源能够实现Dataphin读取Paimon的业务数据或向Paimon写入数据。本文为您介绍如何新建Paimon数据源。权限说明 仅支持具备新建数据源权限的账号进行新建。更多信息,请参见 数据源权限说明。使用限制 Paimon数据源不支持以...

通过上传本地数据新建数据

导出数据 方式1:在数据集列表中,单击目标数据 操作 列的 导出。方式2:在数据集列表中,单击目标数据 操作 列的 查看,在页面右侧弹出的 数据详情 面板中,单击 导出数据。删除数据 单个删除:在数据集列表中,单击目标数据 操作 列的 ...

OSS

您可以通过以下两种方式访问OSS数据:通过提交Spark SQL语句的方式来访问OSS数据,具体操作请参见 Spark SQL。作业示例配置如下所示:{"sqls":["select*from `1k_tables`.`table0` limit 100","insert into `1k_tables`.`table0` values(1,...

查看选项

读取一行数据 get_splits Logically divide the data of the full table into several splits close to the specified size.将全表数据在逻辑上划分成接近指定大小的若干分片 getts Get data from timeseries table 查询时序数据 help ...

SQL备份与回滚(公测中)

两个功能的差异如下:对比项 数据追踪 SQL备份与回滚 功能使用 需要提交数据追踪工单,配置时间范围、表名、操作类型等工单参数。无需进行额外的工单配置。仅需在执行SQL时,开启备份,待获取备份数据后,直接在SQL Console执行即可。回滚...

获取及提交数据

2、修改标注数据 通过标注工具SDK中包含的各类标注方式及调整方式,对标注数据进行修改,修改后的数据可通过如下方式获取。前端示例代码:mark.setLabelData(labelData);手动设置标注数据 var labelData=mark.getLabelData()/获取当前标注...

接口说明

其中,Result对象表示SQL的执行结果,比如提交数据库的列表语句("SHOW DATABASES")后,可以通过Result获取到已经存在的数据库列表。Result对象有columns、metadata、rows等3个字段,其中,columns为结果的列名集合,metadata为对应列的...

开发PyODPS 3任务

o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发,请参考:PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...

开发PyODPS 3任务

o.get_table('table_name').get_partition('ds='+args['ds'])更多场景的PyODPS任务开发,请参考:PyODPS使用第三方包 节点运行ECS机器上的脚本 PyODPS节点实现结巴中文分词 PyODPS节点实现避免将数据下载到本地 后续步骤 如何判断Shell...

RestAPI Reader最佳实践

数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力,通过配置HTTP请求地址,可获取RestAPI类型的数据数据(例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等),并转换为数据集成支持的数据类型,传递给下游...

使用Fluid加速Lindorm S3协议兼容的数据访问

请确保已将Lindorm S3的数据集成功部署到Kubernetes集群的Fluid中,只需要执行简单命令便能提交数据读写任务。准备测试数据。您需要在Lindorm S3中写入数据,如下示例使用write.yaml文件创建Job任务,利用elbencho镜像建立容器来写数据。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用