云原生多模数据库 Lindorm支持Bulkload（批量快速导入数据）功能，可以更快更稳定的导入数据。本文介绍批量快速导入数据操作。
功能特性
批量快速导入数据功能支持数据文件旁路加载，不需要经过数据API写入链路并且不需要占用实例计算资源,，批量快速导入数据与通过API导入数据相比有以下优势：
导入数据更快，速度可以提升10倍以上。
在线服务更稳定，不占用在线服务资源。
资源使用更灵活，在离线资源中分开使用更加灵活。
支持多种数据源导入，包括CSV、ORC、Parquet、MaxCompute等。
使用简单。您无需开发任何代码就可以实现数据的批量快速旁路加载。
成本低。LTS Bulkload基于Serverless Spark提供的云原生弹性能力，根据您的需求提供弹性计算资源按量收费，您无需经常配置计算资源，可以降低使用成本。
前提条件
已开通并登录LTS数据同步服务，具体操作请参见开通并登录LTS。
已开通Lindorm计算引擎，具体操作请参见服务开通。
已添加Spark数据源，具体操作请参见添加Spark数据源。
支持的数据源
源数据源 | 目标数据源 |
MaxCompute Table | Lindorm宽表引擎 |
HDFS CSV或者OSS CSV | |
HDFS Parquet或者OSS Parquet | |
HDFS ORC或者OSS ORC |
数据类型映射
Parquet文件类型映射
基础类型 | 逻辑类型 | Lindorm SQL数据类型 | HBase兼容类型 |
| BOOLEAN | BOOLEAN | |
| INT_8 | TINYINT | BYTE |
| INT_16 | SMALLINT | SHORT |
| INTEGER | INT | |
| BIGINT/TIMESTAMP | LONG | |
| DATE | DATE | |
| FLOAT | FLOAT | |
| DOUBLE | DOUBLE | |
| BINARY(N)/VARBINARY | VARBINARY | |
| UTF-8 | VARCHAR/CHAR(N)/JSON | STRING |
| DECIMAL | DECIMAL
| DECIMAL |
| TIMESTAMP | ||
| ENUM | VARCHAR / CHAR(N) | STRING |
| JSON | JSON/VARCHAR/CHAR(N) | STRING |
ORC文件数据类型映射
ORC数据类型 | Lindorm数据类型 | HBase兼容类型 |
BOOLEAN | BOOLEAN | BOOLEAN |
BYTE | TINYINT | BYTE |
SHORT | SMALLINT | SHORT |
INT | INTEGER | INT |
LONG | BIGINT/TIMESTAMP | LONG |
FLOAT | FLOAT | FLOAT |
DOUBLE | DOUBLE | DOUBLE |
DECIMAL | DECIMAL | DECIMAL |
CHAR/VARCHAR/STRING | VARCHAR/CHAR(N)/JSON | STRING |
BINARY | BINARY(N)/VARBINARY | VARBINARY |
DATE | DATE | |
TIMESTAMP | TIMESTAMP |
CSV文件数据类型映射
CSV文件为文本格式，配置任务时需指定类型。
CSV数据类型 | Lindorm数据类型 | HBase兼容类型 |
数字（无小数点） | TINYINT/SMALLINT/INTEGER/BIGINT | BYTE/SHORT/INT/LONG |
数字（有小数点） | FLOAT/DOUBLE/DECIMAL | FLOAT/DOUBLE/DECIMAL |
true/false 大小写不敏感 | BOOLEAN | BOOLEAN |
字符串 | VARCHAR / CHAR(N) | STRING |
Base64编码字符串 需要使用unbase64(base64StrCol)函数解码为二进制数据 | BINARY(N)/VARBINARY | VARBINARY |
Hex16进制字符串 需要使用unhex(hexStrCol)函数解码为二进制数据 | BINARY(N)/VARBINARY | VARBINARY |
日期格式字符串 需配置"dateFormat"选项，例如：yyyy-MM-dd | DATE | |
时间戳格式字符串 需配置"timestampFormat"选项，例如：yyyy-MM-dd HH:mm:ss | TIMESTAMP |
MaxCompute数据类型映射
MaxCompute数据类型 | Lindorm数据类型 | HBase兼容类型 |
TINYINT | TINYINT | BYTE |
SMALLINT | SMALLINT | SHORT |
INT | INTEGER | INT |
BIGINT | BIGINT | LONG |
FLOAT | FLOAT | FLOAT |
DOUBLE | DOUBLE | DOUBLE |
DECIMAL | DECIMAL | DECIMAL |
BOOLEAN | BOOLEAN | BOOLEAN |
BINARY | BINARY(N)/VARBINARY | VARBINARY |
CHAR(N) | VARCHAR/CHAR(N) | STRING |
VARCHAR(N) | VARCHAR/CHAR(N) | STRING |
STRING | VARCHAR/CHAR(N) | STRING |
DATE | DATE | |
DATETIME 转换之后只保留DATE部分，Time部分会丢失 | DATE | |
TIMESTAMP | TIMESTAMP |
提交方式
快速导入数据任务支持以下方式提交。