EXPORT

支持导出的对象

• SelectDB 内表（DUPLICATE / UNIQUE / AGGREGATE 三种数据模型均可）。

• SelectDB 逻辑视图。

• External Catalog 注册的外表（例如 Hive Metastore Catalog 中的表）。

支持的导出位置

• 对象存储：阿里云 OSS、Amazon S3、腾讯云 COS、华为云 OBS、Google GCS。统一通过 WITH S3 子句和 s3.* 属性键描述。

• HDFS：含开启 NameNode 高可用与 Kerberos 认证的集群。通过 WITH HDFS 子句配置。

支持的导出文件格式

• Parquet

• ORC

• csv（默认）

• csv_with_names（首行携带列名）

• csv_with_names_and_types（首行列名 + 第二行列类型）

建表与写入数据

CREATE TABLE IF NOT EXISTS demo.tbl (
    `c1` INT NULL,
    `c2` STRING NULL,
    `c3` BIGINT NULL
)
DISTRIBUTED BY HASH(c1) BUCKETS 4;

INSERT INTO demo.tbl VALUES
    (1, 'doris', 18),
    (2, 'nereids', 20),
    (3, 'pipeline', 99999),
    (4, 'Apache', 122123455),
    (5, NULL, NULL);

导出到阿里云 OSS

将 demo.tbl 整表写入 OSS Bucket，使用默认 csv 格式：

EXPORT TABLE demo.tbl TO "oss://<your_bucket>/export/tbl_"
PROPERTIES (
    "line_delimiter" = ","
)
WITH S3 (
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your_access_key_id>",
    "s3.secret_key" = "<your_access_key_secret>"
);

• 路径协议：阿里云 OSS 推荐使用 oss://；同时也兼容 s3://。

• 子句关键字：无论路径协议是 oss 还是 s3，凭证子句都用 WITH S3，属性键固定为 s3.endpoint、s3.region、s3.access_key、s3.secret_key。SelectDB v4 中尚未提供 WITH OSS 关键字。

• Endpoint：实例与 OSS 在同一地域时，使用内网 endpoint（如 oss-cn-hangzhou-internal.aliyuncs.com），可避免公网流量费并加快传输。

导出到 HDFS

将 demo.tbl 写入 HDFS，并自定义列分隔符。fs.defaultFS 与目标路径中的 host:port 需替换为真实可达的 NameNode 地址（例如同 VPC 内 EMR 集群 Master 节点的 FQDN）：

EXPORT TABLE demo.tbl TO "hdfs://<namenode_host>:9000/path/to/tbl_"
PROPERTIES (
    "format" = "csv",
    "column_separator" = ","
)
WITH HDFS (
    "fs.defaultFS" = "hdfs://<namenode_host>:9000",
    "hadoop.username" = "hadoop"
);

• SelectDB 实例与 HDFS 集群必须在同一 VPC 中。如使用阿里云 EMR，可在 EMR 集群「访问链接与端口」中获取 NameNode FQDN。

• hadoop.username 取值需与 HDFS 目标目录的写权限匹配，常用 hadoop 或 hdfs。

• 导出完成后，可通过 SELECT * FROM HDFS("uri"="hdfs://<namenode_host>:9000/path/to/tbl_*", ...) 表函数反向校验写入内容。

查询导出任务

EXPORT 提交后立即返回，必须用 SHOW EXPORT 跟踪后续状态：

SHOW EXPORT FROM demo ORDER BY CreateTime DESC LIMIT 10;

主要列含义：

• State：任务进入 PENDING（排队）→ EXPORTING（执行中）→ FINISHED（完成）或 CANCELLED（被取消/失败）。

• Progress：百分比进度。

• Path：用户提交的目标前缀。

• OutfileInfo：FINISHED 后填充，列出每个输出文件的行数、字节数和最终 URL。

• ErrorMsg：失败时的错误信息，可据此排查权限、路径或网络问题。

取消导出任务

在 PENDING 或 EXPORTING 阶段可以撤销作业，常见用法是按 Label 模式匹配：

CANCEL EXPORT FROM demo WHERE LABEL like "%export_%";

导出到开启高可用的 HDFS 集群

HA 模式下需要把 nameservices 与各 NameNode 的 RPC 地址都写在 WITH HDFS 中。dfs.nameservices 的值必须与 fs.defaultFS 中的逻辑名一致，否则会报 Missing property: dfs.namenode.rpc-address.* (expected format: host:port)：

EXPORT TABLE demo.tbl TO "hdfs://my-ns/path/to/tbl_"
PROPERTIES (
    "line_delimiter" = ","
)
WITH HDFS (
    "fs.defaultFS" = "hdfs://my-ns",
    "hadoop.username" = "hadoop",
    "dfs.nameservices" = "my-ns",
    "dfs.ha.namenodes.my-ns" = "nn1,nn2",
    "dfs.namenode.rpc-address.my-ns.nn1" = "nn1-host:8020",
    "dfs.namenode.rpc-address.my-ns.nn2" = "nn2-host:8020",
    "dfs.client.failover.proxy.provider.my-ns" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
);

导出到开启高可用与 Kerberos 认证的 HDFS 集群

EXPORT TABLE demo.tbl TO "hdfs://hacluster/path/to/tbl_"
PROPERTIES (
    "line_delimiter" = ","
)
WITH HDFS (
    "fs.defaultFS" = "hdfs://hacluster/",
    "hadoop.username" = "hadoop",
    "dfs.nameservices" = "hacluster",
    "dfs.ha.namenodes.hacluster" = "n1,n2",
    "dfs.namenode.rpc-address.hacluster.n1" = "192.168.0.1:8020",
    "dfs.namenode.rpc-address.hacluster.n2" = "192.168.0.2:8020",
    "dfs.client.failover.proxy.provider.hacluster" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
    "dfs.namenode.kerberos.principal" = "hadoop/_HOST@REALM.COM",
    "hadoop.security.authentication" = "kerberos",
    "hadoop.kerberos.principal" = "doris_test@REALM.COM",
    "hadoop.kerberos.keytab" = "/path/to/doris_test.keytab"
);

指定分区导出

仅导出 test 表的 p1、p2 分区，并通过 columns 限定输出列：

EXPORT TABLE demo.test
PARTITION (p1, p2)
TO "oss://<your_bucket>/export/test_"
PROPERTIES (
    "columns" = "k1,k2"
)
WITH S3 (
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your_access_key_id>",
    "s3.secret_key" = "<your_access_key_secret>"
);

导出时按条件过滤数据

仅导出满足 k1 < 50 的行，并自定义列分隔符：

EXPORT TABLE demo.test
WHERE k1 < 50
TO "oss://<your_bucket>/export/test_"
PROPERTIES (
    "columns" = "k1,k2",
    "column_separator" = ","
)
WITH S3 (
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your_access_key_id>",
    "s3.secret_key" = "<your_access_key_secret>"
);

导出外表数据

先注册一个 Hive Catalog，再用「catalog.库.表」三段式名称提交导出：

-- 1. 创建 Hive Catalog
CREATE CATALOG hive_catalog PROPERTIES (
    'type' = 'hms',
    'hive.metastore.uris' = 'thrift://hms_host:9083'
);

-- 2. 导出 Catalog 下的 Hive 表
EXPORT TABLE hive_catalog.sf1.lineitem TO "oss://<your_bucket>/export/lineitem_"
PROPERTIES (
    "format" = "csv",
    "max_file_size" = "1024MB"
)
WITH S3 (
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your_access_key_id>",
    "s3.secret_key" = "<your_access_key_secret>"
);

设置导出文件大小

通过 max_file_size 控制单个输出文件的大小上限，超出阈值会自动切分为多个文件：

EXPORT TABLE demo.test TO "oss://<your_bucket>/export/test_"
PROPERTIES (
    "format" = "parquet",
    "max_file_size" = "512MB"
)
WITH S3 (
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your_access_key_id>",
    "s3.secret_key" = "<your_access_key_secret>"
);

max_file_size 取值范围 5 MB ～ 2 GB；下游处理器（如 Spark、Flink）通常对超大文件不够友好，建议留在 256 MB ～ 1 GB 之间。

导出前清空导出目录

将 delete_existing_files 设为 true，导出会先把目标前缀下的所有文件和子目录清空，再写入新数据：

EXPORT TABLE demo.test TO "oss://<your_bucket>/export/test_"
PROPERTIES (
    "format" = "parquet",
    "max_file_size" = "512MB",
    "delete_existing_files" = "true"
)
WITH S3 (
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your_access_key_id>",
    "s3.secret_key" = "<your_access_key_secret>"
);