S3 全量导入

更新时间:
复制 MD 格式

本文介绍如何使用LTS平台的Web界面创建和管理AWS S3到Lindorm的全量数据导入任务。

前提条件

  • 已完成S3数据源的添加,详情可参考添加S3数据源。

  • 已获取AWS S3的访问凭证,并确保该凭证拥有目标Bucket的读写权限。

操作步骤

  1. 登录Lindorm管理控制台。

  2. 在页面左上角,选择实例所属的地域。

  3. 在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。

  4. 在左侧导航栏,选实例详情,在UI 访问区域,点击 LTS进入集群管理 UI。

    重要

    首次使用请重置密码,并将客户端 IP 添加至网络白名单。

  5. 在左侧导航栏中,选择导入Lindorm/Hbase > 通用导入。

  6. 在Bulkload页面,点击创建任务。

  7. 按需配置以下参数;

    参数配置

    参数名称

    参数说明

    选择数据源
    源数据源

    配置的S3数据源

    目标数据源

    需要导入的Lindorm实例

    文件类型(非必选)
    • CSV:适合文本数据和通用场景。

    • Parquet:适合大数据分析场景,列式存储。

    • ORC:适合高性能查询场景。

    均衡分区(可选)

    分区均衡功能适合以下两种场景开启:1.因为数据倾斜/数据不均匀导致的任务过慢;2.目标表初次导入数据。当分区均衡之后,请关闭此功能!开启分区均衡功能后,系统会先运行一个分区均衡任务,其会按照输入的百分比随机采样部分原始数据,将其导入目标表,以均衡lindorm分区;之后再启动全量导入任务。

    插件配置

    Reader配置

    建立与源端数据源的连接,按照配置的规则抽取数据。

    Writer配置

    建立与目标端数据源的连接,接收数据并按照策略写入。

    作业运行参数配置

    Executor数量

    任务最大并发度。

    spark配置

    用于优化Spark作业性能。默认无需填写。

    spark UDF

    用于优化Spark作业性能。默认无需填写。

  8. 单击创建。