数仓版快速入门

创建高权限账号

1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表。在集群列表上方，选择产品系列，然后单击目标集群ID。

2. 在左侧导航栏，单击账号管理。

3. 在账号管理页面，单击创建高权限账号。

4. 在创建账号面板，设置相关参数。

   参数	说明
   数据库账号	高权限账号的账号名称，根据控制台提示输入符合要求的名称。
   账号类型	数仓版集群固定为高权限账号，无需配置。
   新密码	高权限账号的密码，根据控制台提示输入符合要求的账号密码。
   确认密码	再次输入高权限账号的密码。
   描述	备注该账号的相关信息，便于后续账号管理。可选。

5. 单击确定完成账号创建。

创建和授权普通账号

操作步骤

1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表。在集群列表上方，选择产品系列，然后单击目标集群ID。

2. 在左侧导航栏单击数据安全。

3. 在白名单设置页面，单击default白名单分组右侧的修改。

   说明

   您也可以单击创建白名单分组创建自定义分组。

4. 在修改白名单分组对话框中，删除默认IP 127.0.0.1，填写需要访问该集群的IP地址或IP段，然后单击确定。

   说明

   如果需要将客户端出口IP地址添加到白名单中，请先查询IP地址，详情请参见连接。

使用DMS连接AnalyticDB for MySQL

1. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表。在集群列表上方，选择产品系列，然后单击目标集群ID。

2. 在集群信息页面，单击右上角登录数据库。

3. 在弹出的对话框中，填写登录信息。

   参数	说明
   数据库类型	默认为AnalyticDB MySQL 3.0，无需选择。
   实例地区	默认为当前实例所在地域，无需选择。 说明 若您需要登录其他地域下的AnalyticDB for MySQL集群，从下拉列表中选择目标集群的所在地域即可。
   实例ID	默认为当前集群的集群ID，无需选择。 说明 若您需要登录其他AnalyticDB for MySQL集群，从下拉列表中选择目标集群ID即可。
   数据库账号	集群的账号名称。
   数据库密码	账号名对应的密码。 说明 您可以选中记住密码，方便之后再次登录当前AnalyticDB for MySQL集群时，无需输入数据库账号和密码即可自动登录。

   说明

   • 首次通过DMS登录AnalyticDB for MySQL集群时，管控模式默认为自由操作。登录成功后，您还可以通过编辑实例功能来修改管控模式。更多信息，请参见编辑实例和管控模式。

   • 配置完登录参数后，您可以单击左下角测试连接。如果测试连接失败，请按照报错提示检查录入的集群信息，如账号或密码是否正确。

   • 系统会自动尝试往云数据库的白名单中添加DMS的服务器访问地址，若自动添加失败请手动添加。详情信息，请参见步骤二：设置白名单和DMS白名单列表。

4. 单击登录即可。

应用开发中通过代码连接到AnalyticDB for MySQL

• JDBC

• Druid连接池

• Python

• PHP

• C#（Mac）

• Golang

通过MySQL命令行工具连接到AnalyticDB for MySQL

MySQL命令行连接AnalyticDB for MySQL

通过客户端连接到AnalyticDB for MySQL

• DBeaver

• DBVisualizer

• Navicat

• SQL WorkBench/J

将AnalyticDB for MySQL连接到数据可视化工具

• FineBI

• Quick BI

• 永洪BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

前提条件

• 通过以下步骤在OSS中创建存储AnalyticDB for MySQL数据的目录。

  1. 开通OSS服务。详情请参见开通OSS服务。

  2. 创建存储空间。详情请参见控制台创建存储空间。

     重要

     OSS的存储空间与AnalyticDB for MySQL所属地域相同。

  3. 创建目录。详情请参见创建目录。

  4. 上传测试文件。详情请参见控制台上传文件。

     本示例将oss_import_test_data.txt文件上传至OSS中的<bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/目录，数据行分隔符为换行符，列分隔符为;，文件示例数据如下所示：

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• 根据AnalyticDB for MySQL入门指南，完成创建集群、设置白名单、创建账号和数据库等准备工作，详情请参见使用流程。

操作步骤

1. 通过CREATE TABLE，在adb_demo数据库中创建外表。创建CSV、Parquet或TEXT格式OSS外表的建表语法请参见OSS外表语法。

2. 查询OSS数据。

   查询外表映射表和查询AnalyticDB for MySQL内表语法没有区别，您可以方便地直接进行查询，如本步骤的示例代码所示。

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • 对于数据量较大的CSV或TEXT数据文件，强烈建议您按照后续步骤导入AnalyticDB for MySQL后再做查询，否则查询性能可能会较差。

   • 对于Parquet格式数据文件，直接查询的性能一般也比较高，您可以根据需要决定是否进一步导入到AnalyticDB for MySQL后再做查询。

3. 通过CREATE TABLE，在adb_demo数据库中创建目标表adb_oss_import_test存储从OSS中导入的数据。

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. 执行INSERT语句将OSS外表数据导入AnalyticDB for MySQL。

   重要

   使用INSERT INTO或INSERT OVERWRITE SELECT导入数据时，默认是同步执行流程。如果数据量较大，达到几百GB，客户端到AnalyticDB for MySQL服务端的连接需要保持较长时间。在此期间，可能会因为网络因素导致连接中断，进而导致数据导入失败。因此，如果您的数据量较大时，推荐使用SUBMIT JOB INSERT OVERWRITE SELECT异步执行导入。

   • 方式一：执行INSERT INTO导入数据，当主键重复时会自动忽略当前写入数据，不进行更新覆盖，作用等同于INSERT IGNORE INTO，详情请参见INSERT INTO。示例如下：

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式二：执行INSERT OVERWRITE导入数据，会覆盖表中原有的数据。示例如下：

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式三：异步执行INSERT OVERWRITE导入数据。 通常使用SUBMIT JOB提交异步任务，由后台调度，可以在写入任务前增加Hint（/*+ direct_batch_load=true*/）加速写入任务。详情请参见异步写入。示例如下：

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     返回结果如下：

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     关于异步提交任务详情，请参见异步提交导入任务。

5. 执行以下命令，查询adb_oss_import_test表的数据。

   SELECT * FROM adb_oss_import_test;

OSS外表语法

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"text|orc|parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAIF****5FsE",
    "accesskey":"Ccw****iWjv",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

相关文档

更多导入数据方式，请参见支持的数据源。