全量导出至OSS

系统要求

• 已开通LTS引擎和计算引擎。

• 已开通宽表snapshot配置。如需开通，请联系LTS值班同学开启。

• LTS引擎版本需升级到3.9.5 并且需要LTS同学加白开启该功能。

• 确保源端Lindorm和目标OSS Bucket的网络连通性正常。

权限准备

• Lindorm数据源权限：在作业中配置的账号能够访问需要导出的表。

• OSS权限：提供的RAM账号确保拥有目标Bucket的读写权限。

步骤一：数据源配置

1. 登录Lindorm管理控制台。

2. 在页面左上角，选择实例所属的地域。

3. 在实例列表页，单击目标实例ID或者目标实例所在行操作列的管理。

4. 在左侧导航栏，选实例详情，在UI 访问区域，点击 LTS进入集群管理 UI。

   重要

   首次使用请重置密码，并将客户端 IP 添加至网络白名单。

5. 创建数据源，分别创建Lindorm、Spark和OSS数据源（三个均需创建）：

   • 创建Lindorm宽表数据源：请参见添加Lindorm宽表数据源。

   • 创建Spark数据源：请参见添加Spark数据源。

   • 创建OSS数据源：请参见添加OSS数据源。

6. 新建导出任务，在左侧导航栏中选择数据导出 > 导出任务列表，进入导出任务创建页面。

   • 在源数据源中选择需要导出数据的Lindorm实例，从下拉列表中选择已配置的Lindorm数据源。

   • 在目标数据源中选择需要导出的OSS数据源，从下拉列表中选择已配置的OSS数据源。

7. 设置文件类型，可选的文件类型：

   • CSV：适合文本数据和通用场景。

   • Parquet：适合大数据分析场景，列式存储。

   • ORC：适合高性能查询场景。

8. 配置OSS Bucket，指定导出文件存储的目标Bucket。

   说明

   为确保数据能顺利导出，请确认满足以下条件：

   • 该 Bucket 已经创建好。

   • 当前账号拥有对该 Bucket 的写入权限。

   • 您当前的网络环境能够正常访问该 Bucket 所在的区域。

步骤二：导出配置

导出配置提供两种方式，二选一：

• 如果导出整表、整集群、整库，则不需要填写导出配置中的SQL语句。此种方式不支持计算，只支持全表字段1:1导出（目前只支持非动态列的SQL表）。

• 如果需要使用SQL过滤语句，则不需要选择表，语句中需要使用select xx from 数据库.表名 where xx的方式。此种方式可以自定义SQL进行数据过滤及ETL计算后导出。

INSERT OVERWRITE DIRECTORY 'oss://xxx-beijing/lindorm2oss/{namespace}/{tablename}/{ts}' USING CSV SELECT * FROM {namespace}.`{tablename}`

步骤三：Spark运行参数配置

步骤四：提交任务

提交前系统会自动验证以下内容：

• 必填字段是否完整。

• 数据源连接是否正常。

• OSS Bucket权限是否足够。

• 表规范或SQL语法是否正确。

点击页面底部的创建按钮提交任务。

• 成功：自动跳转到任务列表页面。

• 失败：显示具体错误信息，需要根据提示修正配置。

创建数据导出任务

请求：

POST /pro/proc/data-export/create
Content-Type: application/x-www-form-urlencoded

参数列表：

约束规则：

• tableSpec和sqlStatements互斥，只能提供其中一个。

• sqlStatements中禁止包含DROP、TRUNCATE、DELETE语句。

• instances必须为大于0的整数。

成功响应：

{
  "success": "true",
  "msg": "<procId>"
}

失败响应：

{
  "success": "false",
  "errorCode": "<错误码>",
  "errorMsg": "<错误描述>"
}

错误码：

示例：使用自定义SQL导出

curl -X POST 'http://lts-xxx-master1-001.lts.rds.aliyuncs.com:12311/pro/proc/data-export/create' \
  --data-urlencode 'src=ld-xxx' \
  --data-urlencode 'dst=oss-data-source' \
  --data-urlencode 'fileType=csv' \
  --data-urlencode 'ossBucket=xxx-oss' \
  --data-urlencode 'instances=1' \
  --data-urlencode 'sparkAdditionalParams=key|value' \
  --data-urlencode 'sqlStatements=CREATE OR REPLACE TEMPORARY VIEW my_table_view AS SELECT * FROM lindorm_table.default.my_table;CREATE TABLE IF NOT EXISTS oss_my_table USING CSV LOCATION '\''oss://xxx-oss/lindorm2oss/default/my_table/1'\'' AS SELECT * FROM my_table_view LIMIT 0;INSERT OVERWRITE TABLE oss_my_table SELECT * FROM my_table_view;'

查询运行中的导出任务

请求：

GET /pro/proc/data-export/running

无需参数。

成功响应：

{
  "success": "true",
  "data": [
    {
      "procId": "proc-xxxxxxxx",
      "name": "任务名称或procId",
      "srcDS": "ld-xx",
      "sinkDS": "oss-data-source",
      "tableInfo": "default:my_table",
      "startTime": "2026-03-18 14:30:00",
      "runningTime": "1h 25m 30s 100ms",
      "progress": "3/5",
      "successCnt": 3,
      "totalCnt": 5,
      "state": "RUNNING"
    }
  ]
}

返回字段说明：

示例：

curl 'http://<host>:12312/pro/proc/data-export/running'

返回示例：

{
  "success": "true",
  "data": [
    {
      "procId": "proc-20260318-001",
      "name": "proc-20260318-001",
      "srcDS": "ld-xxx",
      "sinkDS": "oss-data-source",
      "tableInfo": "default:my_table",
      "startTime": "2026-03-18 10:00:00",
      "runningTime": "4h 30m 15s 200ms",
      "progress": "8/10",
      "successCnt": 8,
      "totalCnt": 10,
      "state": "RUNNING"
    }
  ]
}

纯SQL表

使用SQL方式导出纯SQL表（不带动态列的SQL表）：

INSERT OVERWRITE DIRECTORY 'oss://xxx-beijing/lindorm2oss/{namespace}/{tablename}/{ts}' USING CSV SELECT * FROM {namespace}.`{tablename}`

提交参数：

spark.sql.lindorm.snapshot.maxSplitBytes|128m,spark.sql.ldps.lindorm.scan.snapshot.inferSchema|false,spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version|2,spark.hadoop.mapreduce.fileoutputcommitter.cleanup.skipped|false

带动态列的SQL表

动态列需要手动做类型映射。动态列写入为String类型，String转为hex编码：

INSERT OVERWRITE DIRECTORY 'oss://xxx-beijing/lindorm2oss/{namespace}/{tablename}/{ts}' USING CSV SELECT p1, p2, c1, CAST(d3 AS STRING) AS d31, CAST(d5 AS STRING) AS d51, CAST(d6 AS STRING) AS d61 FROM {namespace}.`{tablename}`

提交参数：

spark.sql.lindorm.snapshot.maxSplitBytes|128m,spark.sql.ldps.lindorm.scan.snapshot.inferSchema|false,spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version|2,spark.hadoop.mapreduce.fileoutputcommitter.cleanup.skipped|false

HBase-like表

INSERT OVERWRITE DIRECTORY 'oss://xxx-beijing/lindorm2oss/{namespace}/{tablename}/{ts}' USING PARQUET SELECT
  to_hstring(ROW, 0, length(ROW)) AS ROW,
  to_hstring(name, 0, length(name)) AS name,
  to_hinteger(age, 0) AS age,
  to_hlong(time, 0) AS time,
  to_hshort(buycode, 0) AS buycode,
  to_hfloat(price, 0) AS price,
  to_hdouble(price2, 0) AS price2,
  to_hboolean(isMale, 0) AS isMale
FROM {namespace}.`{tablename}`;

提交参数：

spark.sql.lindorm.snapshot.maxSplitBytes|128m,spark.sql.ldps.lindorm.scan.snapshot.inferSchema|true,spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version|2,spark.hadoop.mapreduce.fileoutputcommitter.cleanup.skipped|false

页面非SQL提交

spark.sql.lindorm.snapshot.maxSplitBytes|128m,spark.sql.ldps.lindorm.scan.snapshot.inferSchema|true,spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version|2,spark.hadoop.mapreduce.fileoutputcommitter.cleanup.skipped|false

spark.sql.lindorm.snapshot.maxSplitBytes|128m,spark.sql.ldps.lindorm.scan.snapshot.inferSchema|false,spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version|2,spark.hadoop.mapreduce.fileoutputcommitter.cleanup.skipped|false