本文介绍如何使用LTS平台的Web界面创建和管理AWS S3到Lindorm的全量数据导入任务。
前提条件
已完成S3数据源的添加,详情可参考添加S3数据源。
已获取AWS S3的访问凭证,并确保该凭证拥有目标Bucket的读写权限。
操作步骤
登录Lindorm管理控制台。
在页面左上角,选择实例所属的地域。
在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。
在左侧导航栏,选实例详情,在UI 访问区域,点击 LTS进入集群管理 UI。
重要首次使用请重置密码,并将客户端 IP 添加至网络白名单。
在Bulkload页面,点击创建任务。
按需配置以下参数;
参数配置
参数名称
参数说明
选择数据源
源数据源
配置的S3数据源
目标数据源
需要导入的Lindorm实例
文件类型(非必选)
CSV:适合文本数据和通用场景。
Parquet:适合大数据分析场景,列式存储。
ORC:适合高性能查询场景。
均衡分区(可选)
分区均衡功能适合以下两种场景开启:1.因为数据倾斜/数据不均匀导致的任务过慢;2.目标表初次导入数据。当分区均衡之后,请关闭此功能!开启分区均衡功能后,系统会先运行一个分区均衡任务,其会按照输入的百分比随机采样部分原始数据,将其导入目标表,以均衡lindorm分区;之后再启动全量导入任务。
插件配置
Reader配置
建立与源端数据源的连接,按照配置的规则抽取数据。
Writer配置
建立与目标端数据源的连接,接收数据并按照策略写入。
作业运行参数配置
Executor数量
任务最大并发度。
spark配置
用于优化Spark作业性能。默认无需填写。
spark UDF
用于优化Spark作业性能。默认无需填写。
单击创建。
该文章对您有帮助吗?