概述 在 OceanBase 开发者中心(OceanBase Developer Center,ODC)首页单击连接名进入连接后,在左导航栏中单击 存储过程 标签可查看存储过程列表,在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中,可查看...
ETL过程日志 这一部分日志是在ETL执行过程中每执行一步记录的关键点和错误信息,包括某一步骤的开始和结束时间、初始化动作完成情况、模块出错信息等。ETL过程日志的意义是随时可以感知ETL运行情况,如果发生错误,可以及时通过过程日志...
ODS ETL过程的临时表:{project_name}.tmp{临时表所在过程的输出表}{从0开始的序号}。按小时同步的增量表:{project_name}.s{源系统表名}{delta}_{hh}。按小时同步的全量表:{project_name}.s{源系统表名}{hh}。当不同源系统同步到同一个...
数据质量监控 通过 DataWorks数据质量 模块,对周期性ETL(Extract Transformation Load)操作过程中产生的脏数据进行监控,监控不通过则阻断任务执行,避免影响扩大。学习如何基于DataWorks为任务产出的表,配置数据质量的监控规则,以...
在投递的过程中可能添加数据清洗和集成的工作,例如实时构建搜索系统的索引和实时数仓中的ETL过程等。实时数据分析 实时数据分析指的是根据业务目标,从原始数据中抽取对应信息并整合的过程。例如,查看每天销量前10的商品、仓库平均周转...
由于DTS不迁移USER信息,因此在调用目标库的视图、存储过程和函数时,需要对调用者授予读写权限。全量迁移 DTS将源库中迁移对象的存量数据,全部迁移到目标库中。增量迁移 DTS在全量迁移的基础上,将源库的增量更新数据迁移到目标库中。...
在投递的过程中可能添加数据清洗和集成的工作,例如实时构建搜索系统的索引、实时数仓中的ETL过程等。实时数据分析 数据分析指的是根据业务目标,从原始数据中抽取对应信息并整合的过程。例如,查看每天销量前10的商品、仓库平均周转时间、...
数据质量监控 通过 DataWorks数据质量 模块,对周期性ETL(Extract Transformation Load)操作过程中产生的脏数据进行监控,监控不通过则阻断任务执行,避免影响扩大。学习如何基于DataWorks为任务产出的表,配置数据质量的监控规则,以...
使用列索引加速ETL过程。具体操作请参见 使用列索引加速ETL。加速访问OSS外表。具体操作请参见 分析外部OSS上的数据。使用Serverless降低负载峰谷差较大的业务场景下的使用成本。具体操作请参见 列存节点开启Serverless。对于大宽表,可以...
完成需求阶段的工作后,数据产品经理会产出最终版本的产品...数据流设计 ETL过程中,数据流向有如下限制:数据流向仅支持由低到高,即ODS->DWD->DWS->ADS。数据不能跨层引用、逆向引用。DWS层不同集市的数据不能相互引用,必须沉淀到DWD层。
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 迁移类型 选择了 库表结构迁移 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 迁移类型 选择了 库表结构迁移 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 迁移类型 选择了 库表结构迁移 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式,方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动,连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 迁移类型 选择了 库表结构迁移 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
迁移类型说明 结构迁移 DTS将迁移对象的结构定义迁移到目标实例,目前DTS支持结构迁移的对象为表、视图、表触发器、同义词、SQL 存储过程、SQL 函数、plan guid、自定义类型、rule、default、sequence。全量数据迁移 DTS会将Amazon RDS SQL...
不支持结构迁移的对象:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。全量迁移 DTS将源库中迁移对象的存量数据,全部迁移到目标库中。...
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 迁移类型 选择了 库表结构迁移 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 迁移类型 选择了 库表结构迁移 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
若选择的迁移对象为表,其他对象(如视图、触发器、存储过程)不会被迁移至目标库。若选择的迁移对象为整库,默认情况如下:源库中待迁移的表有主键(包含主键为单列和多列),则以该主键列为分布键。源库中待迁移的表无主键,则自动生成...
若选择的同步对象为表或列,其他对象(如视图、触发器、存储过程)不会被同步至目标库。已选择对象 如需更改单个同步对象在目标实例中的名称,请右击 已选择对象 中的同步对象,设置方式,请参见 库表列名单个映射。如需批量更改同步对象在...
不支持迁移的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。警告 由于此场景属于异构数据库间的数据迁移,数据类型无法一一...
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 同步类型 选择了 库表结构同步 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
不支持结构初始化的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、...
开启迁移评估 评估源库和目标库的结构(如索引长度、存储过程、依赖的表等)是否满足要求,您可以根据实际情况选择 是 或者 否。说明 仅当 同步类型 选择了 库表结构同步 时才可以配置。若选择 是,则可能会增加预检查时间。您可以在预检查...
不支持结构初始化的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、...
若选择的迁移对象为表或列,其他对象(如视图、触发器、存储过程)不会被迁移至目标库。已选择对象 右键单击 已选择对象 下方的目标数据库,在弹出的 编辑Schema 对话框中,将 Schema名称 修改为Oracle中用于接收数据的Schema名称。更多...
若选择的同步对象为表或列,其他对象(如视图、触发器、存储过程)不会被同步至目标库。已选择对象 如需更改单个同步对象在目标实例中的名称,请右击 已选择对象 中的同步对象,设置方式,请参见 库表列名单个映射。如需批量更改同步对象在...
不支持迁移的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。警告 由于此场景属于异构数据库间的数据迁移,数据类型无法一一...
不支持结构初始化的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、...
若选择的同步对象为表或列,其他对象(如视图、触发器、存储过程)不会被同步至目标库。已选择对象 如需更改单个同步对象在目标实例中的名称,请右击 已选择对象 中的同步对象,设置方式,请参见 库表列名单个映射。如需批量更改同步对象在...
不支持迁移的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。警告 由于此场景属于异构数据库间的数据迁移,数据类型无法一一...
若选择的同步对象为表或列,其他对象(如视图、触发器、存储过程)不会被同步至目标库。已选择对象 右键单击 已选择对象 下方的目标数据库,在弹出的 编辑Schema 对话框中,将 Schema名称 修改为Oracle中用于接收数据的Schema名称。更多...
目前DTS支持的对象为表、视图、同义词、触发器、存储过程、存储函数、包和自定义类型。说明 不兼容触发器。建议您删除源库的触发器,以避免因触发器而导致数据不一致的问题。详情请参见 源库存在触发器时如何配置同步作业。全量数据迁移 ...
目前支持的对象包括:表、视图、同义词、触发器(不兼容)、存储过程、存储函数、包、自定义类型。重要 不兼容触发器。当迁移对象包含了触发器可能导致数据不一致。全量数据迁移 DTS会将源库中迁移对象的存量数据,全部迁移至目标PolarDB...
不支持结构初始化的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。不支持迁移数据类型为TIMESTAMP、CURSOR、ROWVERSION、...
目前DTS支持的对象包括:表、视图、同义词、触发器、存储过程、存储函数、包、自定义类型。说明 暂不兼容触发器。建议您删除源库的触发器,以避免因触发器而导致数据不一致的问题。详情请参见 源库存在触发器时如何配置同步作业。全量数据...
说明 DTS暂不支持结构迁移视图、同义词、存储过程、存储函数、包、自定义类型等。警告 此场景属于异构数据库间的数据迁移,DTS在执行结构迁移时数据类型无法完全对应,请谨慎评估数据类型的映射关系对业务的影响,详情请参见 异构数据库间...
目前DTS支持的对象包括:表、视图、同义词、触发器、存储过程、存储函数、包、自定义类型。说明 暂不兼容触发器。建议您删除源库的触发器,以避免因触发器而导致数据不一致的问题。详情请参见 源库存在触发器时如何配置同步作业。全量数据...
说明 DTS暂不支持结构迁移视图、同义词、存储过程、存储函数、包、自定义类型等。警告 此场景属于异构数据库间的数据迁移,DTS在执行结构迁移时数据类型无法完全对应,请谨慎评估数据类型的映射关系对业务的影响,详情请参见 异构数据库间...