数据导入

支持的数据库类型

• RDS：RDS MySQL、RDS MariaDB、RDS SQLServer、RDS PostrgreSQL、RDS PPAS
• PolarDB：PolarDB MySQL、PolarDB PostgreSQL、PolarDB-O
• PolarDB-X（原DRDS）
• OceanBase
• 云原生数仓AnalyticDB：AnalyticDB MySQL、AnalyticDB PostgreSQL
• 自建数据库：MySQL、SQLServer、PostgreSQL

背景信息

• 应用场景
  • 应用数据初始化
  • 应急平台数据导入（快速回滚数据）
• 支持的文件类型
  • TXT格式（目前文件大小限制为5GB。）
  • SQL脚本（目前文件大小限制为5GB。安全协同模式下，默认仅放开INSERT和REPLACE类型。如需调整，可以由DBA或管理员角色在安全规则 > SQL变更 > 批量数据导入中修改。）
  • CSV格式（必须以逗号为分隔符，并且第一行必须为列名。）

注意事项

• 如果只是少量SQL变更，为保证变更的稳定性，建议使用普通数据变更或无锁数据变更工单。
• 在执行批量数据导入期间不会自动切换到无锁结构变更（即使实例开启了无锁结构变更优先）。
• 为了避免批量数据导入执行期间数据库性能受到影响，建议使用SQL性能较好的语句，如INSERT、使用主键索引的UPDATE和DELETE。

操作步骤

1. 登录新版DMS控制台。
2. 在页面顶部，选择全部功能 > 数据方案 > 数据导入。
3. 在批量数据导入页签中，根据下表填写工单申请。
   

   配置项	说明
   数据库（必选）	数据导入操作的目标数据库。 说明 管控模式为自由操作或稳定变更的实例数据库需要登录后方可选择。
   原因类别（必选）	根据实际情况选择数据导入的原因。
   业务背景（必选）	详细填写本次操作的业务背景。
   文件编码（必选）	选择数据库的文件编码。可选项： UTF-8 GBK ISO-8859-1 自动识别
   导入模式	选择导入模式，当前支持如下两种模式： 极速模式：在执行阶段读取文件，将SQL语句直接执行到指定的目标库。该模式安全性相比安全模式要低，但是执行时效较高。 安全模式：预检查阶段会解析文件并将SQL或CSV数据缓存入库，执行时再从缓存库中读出来执行到指定的目标库。该模式安全性较好，但是执行时效相比极速模式要低。 说明 管控模式为安全协同的安全规则配置默认未开启支持极速模式导入数据。您可以在对应的安全规则 > SQL变更 > 基础配置项中开启该检测项。
   文件类型（必选）	根据实际情况选择SQL脚本或CSV格式，并上传需要执行批量导入的文件。 说明 SQL脚本或CSV格式的示例文件，请参见示例文件。 若您选择上传CSV格式，需额外配置目标表、数据位置、写入方式参数，参数说明请看下表。
   目标表	选择CSV格式导入数据的目标表。
   数据位置	选择CSV格式的类型，当前支持如两种格式： 第1行为属性：CSV表格首行是字段名。 第1行为数据：CSV表格首行是数据。 说明 示例文件，请参见示例文件。
   写入方式	选择CSV格式的写入方式，当前支持如下三种写入方式： INSERT INSERT_IGNORE REPLACE_INTO
   其他选项	选择是否忽略异常报错。 说明 不勾选（默认）：即系统不忽略异常，系统遇到异常会停止执行后续SQL并报错。 勾选：即系统执行失败会忽略异常，并继续执行后续SQL。
   回滚SQL（可选）	文本：在下方输入框中书写回滚SQL。 附件：上传SQL文件，支持TXT和SQL文件类型。（目前文件大小限制为15MB。）
   工单附件（可选）	可以上传工单相关信息的图片或文档来补充当前工单信息。
   变更相关人（可选）	设置的相关人员都可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。

4. 单击提交申请，等待系统预检查通过，如果预检查失败，请根据提示检查失败原因后重新提交申请。
   说明 系统会预检查您上传的SQL，如果是CSV文件，会生成相应的INSERT语句。
5. 单击审批流程中的提交审批，等待审批通过。
   
6. 待审批通过后，单击执行流程中的执行变更。
7. 在弹出的任务设置对话框中，可以选择是否立即执行，如果不想立即执行，可以关闭是否立即执行开关，并选择一个期望开始执行时间，系统会在该时间自动执行。单击确定执行。
   说明 执行期间，系统流式读取解析好的SQL，分批执行到数据库（每批大小1MB）。

示例文件

• CSV文件示例（第1行为属性）
• CSV文件示例（第1行为数据）
• SQL附件示例