Oracle数据源

离线读写

实时读

• 支持：

  11g R2 以上、12c non cdb、18c non cdb、19c non cdb或19c cdb版本数据库。

• 不支持：

  12c cdb和18c cdb版本数据库。

确认Oracle数据库版本

不同同步场景下支持的Oracle数据库版本不一致，同步前您需要检查Oracle数据库版本是否为支持的版本。

1. 您可以通过如下任意语句查看Oracle数据库的版本。

   • 语句一：

     select * from v$version;

   • 语句二：

     select version from v$instance;

2. 如果查看到的Oracle数据库版本为12c或18c，则您需要使用如下语句进一步确认该数据库是否为cdb类型的数据库。DataWorks数据集成实时同步任务暂不支持使用12c和18c版本的cdb类型的Oracle数据库。

   select name,cdb,open_mode,con_id from v$database;

创建账号并配置账号权限

您需要规划一个数据库的登录账户用于后续执行操作，此账号需要拥有Oracle的相关操作权限。

1. 创建账号。操作详情请参见创建Oracle账号。

2. 配置权限。

   您可以参考以下命令为账号添加相关权限。如下执行语句在实际使用时，请替换'同步账号'为上述创建的账号。

   grant create session to '同步账号';  //授权同步账号登录数据库。
   grant connect to '同步账号';  //授权同步账号连接数据库。
   grant select on nls_database_parameters to '同步账号';  //授权同步账号查询数据库的nls_database_parameters系统配置。
   grant select on all_users to '同步账号';  //授权同步账号查询数据库中的所有用户。
   grant select on all_objects to '同步账号';  //授权同步账号查询数据库中的所有对象。
   grant select on DBA_MVIEWS to '同步账号';  //授权同步账号查看数据库的物化视图。
   grant select on DBA_MVIEW_LOGS to '同步账号';  //授权同步账号查看数据库的物化视图日志。
   grant select on DBA_CONSTRAINTS to '同步账号';  //授权同步账号查看数据库所有表的约束信息。
   grant select on DBA_CONS_COLUMNS to '同步账号';  //授权同步账号查看数据库中所有表指定约束中所有列的相关信息。
   grant select on all_tab_cols to '同步账号';  //授权同步账号查看数据库中表、视图和集群中列的相关信息。
   grant select on sys.obj$ to '同步账号';  //授权同步账号查看数据库中的对象。sys.obj$表是Oracle字典表中的对象基础表，存放Oracle的所有对象。
   grant select on SYS.COL$ to '同步账号';  //授权同步账号查看数据库表中列的定义信息。SYS.COL$用于保存表中列的定义信息。
   grant select on sys.USER$ to '同步账号';  //授权同步账号查看数据库的系统表。sys.USER$是用户会话的默认服务。
   grant select on sys.cdef$ to '同步账号';  //授权同步账号查看数据库的系统表。
   grant select on sys.con$ to '同步账号';  //授权同步账号查看数据库的约束信息。sys.con$记录了Oracle的相关约束信息。
   grant select on all_indexes to '同步账号';  //授权同步账号查看数据库的所有索引。
   grant select on v_$database to '同步账号';  //授权同步账号查看数据库的v_$database视图。
   grant select on V_$ARCHIVE_DEST to '同步账号';  //授权同步账号查看数据库的V_$ARCHIVE_DEST视图。
   grant select on v_$log to '同步账号';  //授权同步账号查看数据库的v_$log视图。v_$log用于显示控制文件中的日志文件信息。
   grant select on v_$logfile to '同步账号';  //授权同步账号查看数据库的v_$logfile视图。v_$logfile包含有关Redo日志文件的信息。
   grant select on v_$archived_log to '同步账号';  //授权同步账号查看数据库的v$archived_log视图。v$archived_log包含有关归档日志的相关信息。
   grant select on V_$LOGMNR_CONTENTS to '同步账号';  //授权同步账号查看数据库的V_$LOGMNR_CONTENTS视图。
   grant select on DUAL to '同步账号';   //授权同步账号查看数据库的DUAL表。DUAL是用来构成select语法规则的虚拟表，Oracle的中DUAL中仅保留一条记录。
   grant select on v_$parameter to '同步账号';  //授权同步账号查看数据库的v_$parameter视图。v$parameter是Oracle的动态字典表，保存了数据库参数的设置值。
   grant select any transaction to '同步账号';  //授权同步账号查看数据库的任意事务。
   grant execute on SYS.DBMS_LOGMNR to '同步账号';  //授权同步账号使用数据库的Logmnr工具。Logmnr工具可以帮助您分析事务，并找回丢失的数据。
   grant alter session to '同步账号';  //授权同步账号修改数据库的连接。
   grant select on dba_objects to '同步账号';  //授权同步账号查看数据库的所有对象。
   grant select on v_$standby_log to '同步账号';  //授权同步账号查看数据库的v_$standby_log视图。v_$standby_log包含备用库的归档日志。
   grant select on v_$ARCHIVE_GAP to '同步账号';  //授权同步账号查询缺失的归档日志。
   grant select on sys.ICOL$ to '同步账号';  //授权同步账号查看数据库中的对象。sys.obj$表是Oracle字典表中的对象基础表，存放Oracle的所有对象。
   grant select on V$THREAD to '同步账号';  //授权同步账号查看实例线程信息。V$THREAD视图是Oracle动态性能视图中的线程状态表，存放RAC集群中各实例的线程状态信息，用于增量解析时确定实例状态及日志来源。

   如果您涉及使用离线全量同步数据，还需要执行如下命令，授权同步账号对所有表的查询权限。

   grant select any table to '同步账号'; 

   Oracle 12c及之后的版本需要执行如下命令，授权同步账号可以进行日志挖掘。Oracle 12c之前的版本，内置日志挖掘功能，无需执行该命令。

   grant LOGMINING TO '同步账号';

开启归档日志、补充日志并切换Redo日志文件

1. 开启归档日志，SQL语句如下。

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. 开启补充日志。

   您可以根据需要选择开启合适的补充日志，SQL语句如下。

   //实时同步为了捕获完整数据变更，需要开启补充日志，可以针对库级别开启，SQL语句如下：
   alter database add supplemental log data(primary key) columns; //为数据库的主键列开启补充日志。
   alter database add supplemental log data(unique) columns; //为数据库的唯一索引列开启补充日志。
   
   //也可以针对表级别开启：
   alter schema.table add supplemental log data(primary key) columns; //为指定表的主键列开启补充日志。
   alter schema.table add supplemental log data(unique) columns; //为指定表的唯一索引列开启补充日志。

3. 切换Redo日志文件。

   开启补充日志后，您需要多次（一般建议执行5次）执行如下命令，切换Redo日志文件。

   alter system switch logfile;

   说明

   多次执行上述命令切换Redo日志文件，是保证当前日志文件被写满后可以切换至下一个日志文件。这样可以确保执行过的操作记录不会丢失，便于后续恢复数据。

检查数据库的字符编码

您需要在当前使用的数据库中，执行如下命令检查数据库的字符编码。

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters用于存放数据库参数的设置值。

• NLS_CHARACTERSET及NLS_NCHAR_CHARACTERSET为数据库字符集和国家字符集，表明Oracle中两大类字符型数据的存储类型。

检查数据库表的数据类型

您可以使用查看表的SQL相关语句（SELECT）查询数据库表的数据类型。示例查看'tablename'表数据类型的语句如下。

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME：表的列名称。

• DATA_TYPE：对应列的数据类型。

• all_tab_columns：存放数据库表所有列相关信息的视图。

• TABLE_NAME：需要查询的目标表的名称。执行上述语句时，请替换'tablename'为实际需要查看的表名称。

您也可以执行select * from 'tablename';，查询目标表的所有信息，获取数据类型。

单表离线同步任务配置指导

• 操作流程请参见向导模式配置、脚本模式配置。

• 脚本模式配置的全量参数和脚本Demo请参见下文的附录：脚本Demo与参数说明。

单表实时同步任务配置指导

操作流程请参见DataStudio侧实时同步任务配置。

整库离线、整库（实时）全增量、整库（实时）分库分表等整库级别同步配置指导

操作流程请参见整库实时同步任务配置。

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要按照统一的脚本格式要求，在任务脚本中编写相应的参数，详情请参见脚本模式配置，以下为您介绍脚本模式下数据源的参数配置详情。

Reader脚本Demo

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader脚本参数

Writer脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",//插件名。
            "parameter":{
                "postSql":[],//执行数据同步任务之后执行的SQL语句。
                "datasource":"",
                "session":[],//数据库连接会话参数。
                "column":[//字段。
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",//编码格式。
                "batchSize":1024,//一次性批量提交的记录数大小。
                "table":"",//表名。
                "preSql":[]//执行数据同步任务之前执行的SQL语句。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流，此处1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer脚本参数