配置PolarDB输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加需要读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-...
配置PolarDB输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加需要读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-...
配置ClickHouse输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置Oracle输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置Oracle输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置ClickHouse输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置AnalyticDB for MySQL 3.0输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置AnalyticDB for PostgreSQL输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置AnalyticDB for MySQL 3.0输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
基本概念
数据库实例：数据库实例是在云中运行的独立数据库环境。一个数据库实例可以包含多个由数据库用户创建的数据库，并且...索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。
配置MySQL输入
MySQL节点支持分库分表，您可以单击 添加分库分表数据源，从下拉列表中选择相应的 数据源 和 表，添加多个数据源，同时进行同步。重要 所选表的Schema需要保持一致，否则执行会报错。单击工具栏中的 图标。常见问题 实时同步MySQL数据源的...
配置Hologres输出组件
表 选择Hologres数据源中的数据表。如果Hologres数据源中还没有数据表，则需要提前创建数据表。具体操作，请参见 表。写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：...
配置Hologres输出组件
表 选择Hologres数据源中的数据表。写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：Hologres 0.8版本推荐选择SDK模式。Hologres 0.9及之后版本推荐选择SQL模式。加载...
创建单物理表服务单元
物理数据表 依次选择数据源类型、数据源（基于您选择的模式，展示可以选择到的数据源类型）和物理数据表。您也可以单击 新增数据源 引入新的业务数据源，以便基于新的业务数据源创建服务单元。如何新增数据源，请参见 创建数据源。服务单元...
采集数据
参数 描述 数据来源 表：选择数据源中的 ods_user_info_d。切分键：建议使用主键或有索引的列作为切分键，仅支持类型为整型的字段。此处设置切分键为 uid。数据去向 文本类型：选择 text 类型。文件名（含路径）：根据您自建OSS的目录进行...
配置MaxCompute输出组件
表 选择数据同步中输出数据的目标表。如果Hive数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表...
配置MaxCompute输出组件
表 选择数据同步中输出数据的目标表。如果Hive数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
配置TDH Inceptor输出组件
表 选择数据同步中输出数据的目标表。如果TDH Inceptor数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，...
使用MaxCompute控制台（离线）
不支持将数据上传到具有自定义Schema的表中（包括已有表和新建表），自定义Schema相关信息请参见 Schema操作。前提条件 已创建MaxCompute项目，用于存放上传的数据。同时您需拥有对应的数据权限，如：上传至已有表：需具备对应表的数据写入...
数据归档
原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置条件：OceanBase 数据源必须通过 OBproxy 连接（暂不支持对直连的 OceanBase 进行归档操作）。OceanBase 数据源目前仅支持集群实例，新建数据源时必须配置集群名称。OceanBase ...
质量规则参数配置
选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id。时间差：支持选择 校验字段-（减）比较字段、比较字段-（减）校验字段，取单位项小数...
质量规则参数配置
选择比较表：选择物理表中的需要比较的表及该物理表的需要比较的字段。关联表达式：内置数据表参数T1、T2，T1为检测表，T2为比较表，例如：T1.id=T2.id。时间差：支持选择 校验字段-（减）比较字段、比较字段-（减）校验字段，取单位项小数...
写数据表
目标数据表 选择同步到的目标数据源中的表名。生命周期（可选）设置目标表的留存天数，如未设置，默认将保留1天。说明 生命周期决定了目标表在多长时间之后被自动删除。比如设置了生命周期为1天，则表在1天后会被自动删除。特别注意，并不...
普通数据变更
在顶部菜单栏中，选择 数据库开发>数据变更>普通数据变更。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>数据变更>普通数据变更。配置工单信息。部分配置信息说明如下：SQL文本：输入语法正确...
创建逻辑模型：汇总表
从指标导入：从数据指标所有派生指标中选择所需指标作为模型字段。快捷模式：从表/视图导入 单击 快捷模式 下，从表/视图导入 后的 展开。在 查找已有表/视图 的输入框中输入相应名称，即可选择对应的表或视图，并在已引用的表后选择导入表...
恢复库表
RDS MySQL支持常规和极速级别的库表恢复功能，您可以将指定的库、表按备份集或时间点恢复至原实例或新实例，无需恢复全部数据，可用于误操作后的快速订正，以及分析历史数据等场景。库表恢复模式的区别 库表恢复速度有常规、极速 和极速5...
新建开发环境场景并运行
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 云计算资源 开发环境中节点输入使用的物理表所在资源。表名 开发环境中节点输入参数的物理表名，可自定义新建...
创建逻辑模型：应用表
从指标导入：从数据指标所有派生指标中选择所需指标作为模型字段。快捷模式：从表/视图导入 单击 快捷模式 下，从表/视图导入 后的 展开。在 查找已有表/视图 的输入框中输入相应名称，即可选择对应的表或视图，并在已引用的表后选择导入表...
新建开发环境场景并运行
当选择星号（*）时，代表数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的表。开发环境 云计算资源 开发环境中节点输入使用的物理表所在资源。表名 开发环境中节点输入参数的物理表名，可自定义新建...
查询多个备份集
从 备份计划ID/名称 列表中，选择要查询的目标备份计划。说明 您也可以在目标备份计划的 备份任务配置 详情页，单击右上角的 备份数据查询 按钮跳转至此页面。单击页面右上角 开启数据湖，在弹出的对话框中配置以下参数。配置项 说明 可选...
数据脱敏
从源表查询失败 源表中未查询到该数据。创建目标表失败 目标位置中可能不存在该表格。找不到主键 RDS源表缺少主键。有关主键的更多信息，请参见 RDS MySQL查看表的主键字段的方法。任务配置的MaxCompute分区字段有误 创建脱敏任务时，在...
新建视图
操作步骤 以在 ODC 中创建员工薪资视图（salary）为例，将 employee 表中的 name 和 consumer 表中的 budget、dept_name 数据组合到视图 salary 中。具体操作步骤如下：步骤 1：指定基本信息 在 OceanBase 开发者中心（OceanBase Developer...
MySQL数据库账号权限管理
在顶部菜单栏中，选择 安全与规范>安全规则。在 安全规则 页签中，单击目标规则集 操作 列下的 编辑。在左侧导航栏中，单击 SQL变更。检测点 选择 SQL执行规则。选择 允许所有DCL在SQL控制台直接执行 安全规则，并单击 操作 列下的 编辑。...
数据保护机制
使用Spark、MR、Graph、Proxima、PAI将表数据写入其他项目的表中。使用Tunnel download（包括SDK或JDBC调用Tunnel）将MaxCompute表数据下载至本地。使用 clone table 命令将表数据复制到其他项目的表中。使用UDF将表数据写入其他项目的表中...
PostgreSQL数据源
是 无 column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。默认使用所有列配置，例如[*]。支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表schema信息顺序进行导出。支持常量配置，您需要按照...
无锁结构变更
在顶部菜单栏中，选择 数据库开发>数据变更>无锁变更。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据 库开发>数据变更>无锁变更。配置如下信息，并单击 提交申请。参数名 说明 数据库（必填）选择...
创建数据表质量规则
例如下图：实例类型：若调度类型选择 数据更新触发调度、固定任务触发调度，支持配置实例类型，可选择 周期实例、补数据实例、手动实例。例如下图：说明 至少配置一条规则。如需添加规则，请单击+添加规则 按钮。最多配置10个调度条件。...
创建数据表质量规则
例如下图：实例类型：若调度类型选择 数据更新触发调度、固定任务触发调度，支持配置实例类型，可选择 周期实例、补数据实例、手动实例。例如下图：说明 至少配置一条规则。如需添加规则，请单击+添加规则 按钮。最多配置10个调度条件。...
- 产品推荐
- 这些文档可能帮助您