导入结构和数据

背景信息

ODC 支持批量导入数据库对象的结构和数据。

通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。

  • 导入结构和数据:同时导入数据库对象的定义语句及其数据。

  • 仅导入数据:仅导入表/视图对象的数据。

  • 仅导入结构:仅导入数据库对象的定义语句。

导入文件格式

ODC 导入工具支持导入 ZIP 压缩文件(批量导入和单表导入)、SQL 文件(批量导入)和 CSV 文件(单表导入)。

其中,ZIP 压缩文件是以 .zip 结尾的压缩包。创建导入任务时在面板中的 导入内容 项中选择了 ZIP 压缩文件 后还需在 数据格式 项中选择压缩包中的数据格式是 CSV 格式 SQL 格式

批量导入时支持导入 SQL 文件,SQL 文件是以 .sql 结尾包含可直接在数据库中执行的SELECTINSERTUPDATEDELETECREATEDROP语句的文件。

单表导入时支持导入 CSV 文件,CSV 文件是 .csv 或 .txt 结尾的支持自定义分割符的数据文件。

注意事项

  • Web 版 ODC 对导入上传的文件大小有限制,最大支持导入 2GB(压缩后)的文件,超出部分无法上传。如需导入大量数据,请使用导数工具 OBLOADER

  • 最大支持 5 个导入任务并行运行,后续任务在队列中等待运行。

  • 导入任务涉及的文件默认保留 14 天。

  • OceanBase V4.0.0 及之前版本的数据源中配置 sys 租户账号和密码可以提升导入速度。ODC 通过分区位置可以计算最佳的导数并行策略,除导出表、视图之外的其它对象,OceanBase V4.0.0 及之前版本需要通过 sys 租户查询和确定分区位置。

  • OceanBase V4.0.0 之后版本的数据源中无需配置 sys 租户账号和密码,ODC 支持通过业务租户的视图查询和确定分区位置。

新建导入任务

示例:将本地磁盘中表 employee 和 salary 的结构和数据批量导入到数据库 odc_test 中。

信息项

示例值

所属数据源

mysql4.2.0

数据库名称

odc_test

表名称

employee, salary

  1. 工单 页签中单击 导入 > 新建导入

    image.png

  2. 在弹出的任务面板中,选择导入文件格式。

    image.png

    image.png

    说明
    • ODC 目前支持批量导入CSV 文件SQL 文件ZIP 压缩文件

    • 导入文件格式为 CSV 文件时,支持跳过首行字段列头字段。

    • 导入文件格式为 ZIP 压缩文件时,支持导入单表或者多表和跳过已存在的结构。

  3. 上传导入文件。

    单击文件池进入文件资源管理器以选择需要导入的文件,或者直接将文件拖入文件池中以完成文件上传。上传的文件格式需要与所选择的导入文件格式相同,ZIP 压缩文件支持上传 .zip 结尾的文件、SQL 文件支持上传 .sql 文件以及 CSV 文件支持上传 .csv 文件。

  4. 选择文件编码。

    ODC 目前支持 ASCIIISO-8859-1GB2312GBKGB18030Unicode(UTF-8)Unicode(UTF-16)Unicode(UTF-32)BIG5 等编码格式。

  5. 进入导入设置面板。

    单击 下一步:导入设置 对导入的文件和 sys 租户账号进行设置。

  6. 选择导入内容。

    image.png

    image.png

    说明
    • 导入格式 ZIP 压缩文件时需指定该项。

    • ODC 目前支持仅导入数据、仅导入结构和导入数据和结构三种方式。其中导入结构指是否要导入对象的定义语句。

  7. 选择所属库。

    选择导入对象所在的数据库。该项下同时显示目标任务所在数据库的数据源名称。

  8. 设置导入数据。

    当导入格式为 ZIP 压缩文件且导入内容不为仅导入结构时需设置导入数据。该项包含以下设置项:

    • 导入前清空数据:勾选该项后,导入数据时将首先清空目标对象中原有的数据。

    • 批量提交数量:单击导入数据设置标签后的高级按钮,在弹出的列表中可指定该项。通过指定批量提交数量,可在导入文件中导入指定数量数据时添加一句COMMIT命令。

    • 不导入的数据类型(可选):可以通过该项指定导入数据时要跳过的数据类型。MySQL 和 Oracle 下可跳过的类型不同,支持多选。

  9. 设置导入结构。

    当导入内容为仅导入数据时,该项不可被指定。在该项下选择当对象结构已存在时的操作。选择跳过操作则在导入时跳过导入文件中的结构定义语句直接导入数据,该项会保留对象中的原数据。选择替换操作时则执行导入文件中的结构定义语句以重新创建并替换原对象,该项会清空对象中的原数据。

  1. 设置任务错误处理和执行方式。

    • ODC 提供停止任务和忽略错误继续任务两种错误处理方式。需要在任务错误处理标签下选择需要的处理方式。

    • 支持选择立即执行/定时执行。

  2. 保留当前配置。

    指定所有信息后,勾选面板左下角的保留当前配置以保留当前部分数据文件和结构文件配置。

  3. 生成导入任务。

    指定所有信息后,单击面板右下角的 提交 按钮以生成导入任务。

  4. 查看导入任务。

    任务生成后会自动弹出任务中心面板,在任务中心可以查看任务信息。

查看导入任务

任务列表

说明
  • 任务列表中会显示最近 48 小时内的任务。

  • 最大支持 3 个导入任务并行运行,后续任务在队列中等待运行。

导入任务生成后会自动弹出工单面板,在导入列表中可以查看任务审批状态、任务信息和任务日志。

image.png

导入任务列表中包含如下信息:

信息项

说明

编号

导入任务编号。

类型

显示新建任务时指定的任务类型。

工单描述

显示发起任务时填写的描述内容。

当前处理人

审批人。单击搜索图标搜索.jpg,可搜索和筛选处理人。

创建人

创建导入任务的用户。 单击搜索图标搜索.jpg,可搜索和筛选创建人。

创建时间

显示该任务生成的具体日期和时间。

状态

显示任务的当前状态(不同状态下提供的管理操作不同)。

操作

单击查看按钮进入任务详情页面以查看目标任务的任务详情和任务日志。

任务信息

  1. 如上图所示,在导入任务列表中单击查看按钮。

  2. 弹出目标任务的任务详情面板,单击任务信息标签查看任务基本信息、导入文件信息和导入对象信息。

    image.png

    信息项

    说明

    任务基本信息

    显示执行状态、任务编号、所属数据库、任务类型、风险等级、执行方式、创建人和创建时间等信息。

    导入文件信息

    显示创建导入任务时选择的导入文件格式、导入文件、文件编码、数据格式和任务错误处理等信息。

    导入对象信息

    显示该任务中您选择的对象在导入数据时的完成情况,包括对象名称、对象类型、实际处理数量和数据处理状态等信息。

任务流程

在目标任务的任务详情面板中,单击任务流程标签查看发起任务、审批和执行状态等信息。

image.png

任务日志

image.png

在目标任务的任务详情面板,单击任务日志标签查看任务的全部日志和告警日志。

信息项

说明

全部日志

全部日志显示任务的 INFO、ERROR 和 WARN 日志等全量信息。

告警日志

告警日志单独显示任务的 ERROR 和 WARN 日志。当任务失败时,可通过告警日志查看错误信息。

同时,工具栏提供了以下功能键:

功能

说明

查找

单击该按钮查找日志信息。

下载

单击该按钮下载日志信息。

复制

单击该按钮复制日志信息。

相关文档