全部产品

通过adbuploader将本地数据导入分析型数据库MySQL版

更新时间:2019-04-29 15:51:33

使用场景

将本地的数据文件导入分析型数据库MySQL版中。

准备工作

  • 安装java环境。

  • 数据是格式化的,目前只支持csv格式和特定分隔符的text文件。

  • csv数据文件的编码格式转换为utf8(目前只支持utf8)。

  • 针对特别大的数据文件,为提高导入性能,请将大数据文件切分成多个文件进行并发。

  • 提前创建数据库创建表组创建表

操作步骤

  1. 下载adbuploader

  2. 执行以下命令将本地数据导入分析型数据库MySQL版。

    1. java -server -Xmx1g -Xms1g -Xmn256m -jar adbuploader-1.0.0.jar [options]

options用法

  1. usage: java adbupload [option]
  2. -c,--conn <arg> the connection info of your analyticdb. e.g.
  3. localhost:10001
  4. -C,--col <arg> the column list of table which want to insert.
  5. split by ','. e.g. "col1,col2".
  6. -d,--database <arg> the database of your analyticdb
  7. -F,--format <arg> the format type of message. e.g. csv, text
  8. -h,--help help info
  9. -H,--header skip the header of files
  10. -n,--name <arg> the name of source. dir or filepath
  11. -num <arg> the concurrence num of writer. default is 4
  12. -p,--password <arg> the AccessKeySecret of your aliyun account
  13. -readnum <arg> the concurrence num of reading source if the
  14. source is dir. default is 1
  15. -S,--source <arg> dir or file, default file
  16. -s,--separator <arg> the separator of message if the format is text.
  17. default ','
  18. -t,--table <arg> the table which want to insert
  19. -u,--username <arg> the AccessKeyId of your aliyun account

参数说明

  • -c,--conn <arg>: 分析型数据库MySQL版的连接信息,通过分析型数据库MySQL版控制台查看连接信息。

  • -u,--username <arg>: 阿里云账号的AccessKeyId,用于连接分析型数据库MySQL版。

  • -p,--password <arg>: 阿里云账号的AccessKeySecret,用于连接分析型数据库MySQL版。

  • -d,--database <arg>: 在分析型数据库MySQL版上创建的数据库库名。

  • -t,--table <arg>: 需要导入的表名。

  • -C,--col <arg>: 需要写入的表的字段列表,字段的顺序需要与数据文件中记录拆分的顺序一致。

  • -S,--source <arg>: 本地数据文件/目录的类型,有dir(目录)/file(文件)两种,默认file,可不填。

  • -F,--format <arg>: 数据文件的记录格式,目前仅支持csv和text。

  • -s,--separator <arg>: 设置分隔符,如果为text文本文件,可以设置多字符的分隔符(比如##)。默认为”,”,可不填。

  • -n,--name <arg>: 数据文件(目录)的名字/路径,请用绝对路径。

  • -readnum <arg>: 当source为dir时,设置读取文件的并发数,不要超过文件数,默认为1,可不填。

  • -num <arg>: 写入分析型数据库MySQL版的并发数(并发数不超过CPU核数)。默认为4,可不填。

  • -H: 跳过文件头部的第一行(csv称为表头)。

  • -h,--help: 帮助信息。

示例

将/user/lilei/test文件(csv格式)导入到adb_test的orders表的o_orderkey,o_custkey,o_orderstatus,o_totalprice,o_orderdate,o_orderpriority,o_clerk,o_shippriority,o_comment字段中。

  1. java -server -Xmx4g -Xms4g -Xmn1g -jar adbuploader-1.0.0.jar -S file -n /user/lilei/test -F csv -c adb-test-56cbade4.cn-shanghai-1.ads.aliyuncs.com:10033 -u ***** -p ***** -d adb_test -t orders -C "o_orderkey,o_custkey,o_orderstatus,o_totalprice,o_orderdate,o_orderpriority,o_clerk,o_shippriority,o_comment" -num 32