Hologres外部表

创建RAM角色

创建RAM角色获取ARN信息，用于创建外部表时填写STS认证信息。

1. 登录RAM访问控制，您可按照下图操作创建角色。

   

   创建RAM角色的信任主体类型根据实际需求选择阿里云账号或者身份提供商。

   • 云账号：

     阿里云账号下的RAM用户可以通过扮演RAM角色来访问云资源，详情请参见创建可信实体为阿里云账号的RAM角色。

   • 身份提供商：

     通过设置SSO实现从企业本地账号系统登录至阿里云控制台，帮您解决企业的统一用户登录认证要求。详情请参见创建可信实体为身份提供商的RAM角色。

2. 修改信任策略配置内容。

   1. 在角色页面，单击已创建完成的RAM角色名称。

   2. 单击信任策略页签。

   3. 在信任策略页签，单击编辑信任策略。

   4. 参照如下内容修改信任策略配置。

      修改信任策略配置内容与选择的可信实体类型相关。

      • 可信实体类型为阿里云账号：

        {
          "Statement": [
            {
              "Action": "sts:AssumeRole",
              "Effect": "Allow",
              "Principal": {
                "RAM": [
                  "acs:ram::<UID>:root"
                ]
              }
            },
            {
              "Action": "sts:AssumeRole",
              "Effect": "Allow",
              "Principal": {
                "Service": [
                  "<UID>@odps.aliyuncs.com"
                ]
              }
            }
          ],
          "Version": "1"
        }

      • 可信实体类型为身份提供商：

        {
          "Statement": [
                {
                    "Action": "sts:AssumeRole",
                    "Condition": {
                        "StringEquals": {
                            "saml:recipient": "https://signin.aliyun.com/saml-role/sso"
                        }
                    },
                    "Effect": "Allow",
                    "Principal": {
                        "Federated": [
                            "acs:ram::<UID>:saml-provider/IDP"
                        ]
                    }
                },
                {
                    "Action": "sts:AssumeRole",
                    "Effect": "Allow",
                    "Principal": {
                        "Service": [
                            "<UID>@odps.aliyuncs.com"
                        ]
                    }
                }
            ],
            "Version": "1"
        }

        说明

        <UID>即阿里云账号ID，可在用户信息页面获取。

   5. 单击确定。

添加RAM角色至Hologres实例并授权

RAM角色需要有Hologres实例的开发权限，才能在权限范围内使用Hologres。由于RAM角色默认没有Hologres管理控制台的查看和操作实例的权限，因此需要阿里云账号完成RAM相关权限授予才能进行后续操作。添加RAM角色至Hologres实例，您可以通过如下方式进行授权。

• 通过Hologres管理控制台授权。

  1. 登录Hologres管理控制台。

  2. 在左侧导航栏单击实例列表，单击需要授权的Hologres实例名称。

  3. 在实例详情页面，单击账号管理。

  4. 您可按下图操作步骤，在用户管理页面单击新增用户添加RAM角色至Hologres实例。

     

  5. 您可按下图操作步骤，在DB授权页签，为该RAM角色授予实例的开发权限。

     说明

     若数据库的权限策略设置为专家模式，则需在用户管理页面将角色类型修改为SuperUser，后续将不再需要进行数据库授权操作。

     

• 通过SQL方式授权。

  您可以通过SQL方式进行授权，授权SQL请参见Hologres权限模型。

• 若是通过RAM用户扮演RAM角色，RAM用户默认没有Hologres管理控制台的权限，需要阿里云账号给RAM用户在访问控制页面授予AliyunRAMReadOnlyAccess权限，否则RAM用户无法在Hologres管理控制台进行任何操作。详情请参见文档授予RAM用户权限。

  

  

使用示例

完成上述步骤后，基于已准备好的数据信息，您即可登录MaxCompute客户端，结合创建Hologres外部表创建Hologres外部表。

1. 安装并登录MaxCompute本地客户端，进入目标MaxCompute项目。

   进入目标项目命令信息，请参见项目空间操作。

2. 执行如下命令创建Hologres外部表。

   SQL命令示例如下：

   CREATE EXTERNAL TABLE IF NOT EXISTS my_table_holo_jdbc
   (
    id bigint,
    name string
   )
   stored BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' 
   WITH serdeproperties (
     'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsholorole')
   location 'jdbc:postgresql://hgprecn-cn-oew210ut****-cn-hangzhou-internal.hologres.aliyuncs.com:80/mc_test?ApplicationName=MaxCompute&currentSchema=public&useSSL=false&table=holo/'
   tblproperties (
     'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
     'odps.federation.jdbc.target.db.type'='holo',
     'odps.federation.jdbc.colmapping'='id:id,name:name'
   );

3. 执行如下命令基于新建的Hologres外部表查询Hologres源表信息。

   SQL代码如下：

   --访问Hologres外部表需要添加如下属性。
   SET odps.sql.split.hive.bridge=true;
   SET odps.sql.hive.compatible=true;
   SET odps.table.api.enable.holo.table=true; --开启JDBC直读方式 
   --查询Hologres外部表数据。
   SELECT * FROM my_table_holo_jdbc limit 10;

   返回结果如下：

   +------------+------------+
   | id         | name       |
   +------------+------------+
   | 1          | kate       |
   | 2          | mary       |
   | 3          | bob        |
   | 4          | tom        |
   | 5          | lulu       |
   | 6          | mark       |
   | 7          | haward     |
   | 8          | lilei      |
   | 9          | hanmeimei  |
   | 10         | lily       |
   +------------+------------+

4. 可选：基于Hologres外部表与Hologres进行数据交换、联合分析。

   例如将MaxCompute加工后的数据利用Hologres外部表，写入Hologres实现加速分析、在线服务。命令示例如下。

   --访问Hologres外部表需要添加如下属性。
   SET odps.sql.split.hive.bridge=true;
   SET odps.sql.hive.compatible=true;
   SET odps.table.api.enable.holo.table=true; --开启JDBC直读方式 
   --向Hologres外部表插入数据。
   INSERT INTO my_table_holo_jdbc VALUES (12,'alice');
   --查询Hologres外部表数据。
   SELECT * FROM my_table_holo_jdbc;

   返回结果如下。

   +------------+------------+
   | id         | name       |
   +------------+------------+
   | 12          | alice      |
   | 1          | kate       |
   | 2          | mary       |
   | 3          | bob        |
   | 4          | tom        |
   | 5          | lulu       |
   | 6          | mark       |
   | 7          | haward     |
   | 8          | lilei      |
   | 9          | hanmeimei  |
   | 10         | lily       |
   | 11         | lucy       |
   +------------+------------+

   频繁更新的维度表保存在Hologres，满足实时动态更新需要。MaxCompute通过外部表方式访问维度表与MaxCompute中事实表进行关联分析，命令示例如下。

   --访问Hologres外部表需要添加如下属性。
   SET odps.sql.split.hive.bridge=true;
   SET odps.sql.hive.compatible=true;
   --创建MaxCompute内部表。
   CREATE TABLE holo_test AS SELECT * FROM my_table_holo_jdbc;
   --MaxCompute内部表与Hologres外部表进行关联分析。
   SELECT * FROM my_table_holo_jdbc t1 INNER JOIN holo_test t2 ON t1.id=t2.id;

   返回结果如下。

   +------------+------------+------------+------------+
   | id         | name       | id2        | name2      |
   +------------+------------+------------+------------+
   | 1          | kate       | 1          | kate       |
   | 2          | mary       | 2          | mary       |
   | 3          | bob        | 3          | bob        |
   | 4          | tom        | 4          | tom        |
   | 5          | lulu       | 5          | lulu       |
   | 6          | mark       | 6          | mark       |
   | 7          | harward    | 7          | harward    |
   | 8          | lilei      | 8          | lilei      |
   | 9          | hanmeimei  | 9          | hanmeimei  |
   | 10         | lily       | 10         | lily       |
   | 11         | lucy       | 11         | lucy       |
   | 12         | alice      | 12         | alice      |
   +------------+------------+------------+------------+

使用示例

您可直接登录MaxCompute客户端，结合创建Hologres外部表通过双签名模式创建Hologres外部表。

--创建外部表
CREATE EXTERNAL TABLE IF NOT EXISTS holo_mc_external_dbl
(
  id int,
  name string,
  ds string
)
STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
location 'jdbc:postgresql://hgprecn-cn-zvp2o6aq****-cn-beijing-internal.hologres.aliyuncs.com:80/mc_test?ApplicationName=MaxCompute&currentSchema=public&preferQueryMode=simple&useSSL=false&table=mf_holo_mc_up/'
TBLPROPERTIES (
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
  'odps.federation.jdbc.target.db.type'='holo',
  'odps.federation.jdbc.colmapping'='id:id,name:name,ds:ds'
);

--查询外部表（必须与打开双签名开关命令一起执行）
SET odps.sql.common.table.planner.ext.hive.bridge=true;
SELECT * FROM holo_mc_external_dbl;

通过MaxCompute直读Hologres数据时，报错ODPS-0130071，如何解决？

• 问题现象

  直读Hologres数据时，报错ODPS-0130071 Failed to split to equal size...max count: 7777。例如：

  ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: storage/table/src/input_splits_builder.cpp(195): StorageException: Failed to split to equal size, total size: 2143570729934, min size: 268435456, max size: 272629760, max count: 7777, split size: 275629513, split count: 7777

• 产生原因

  MaxCompute直读Hologres中的数据时，按照默认的拆分Mapper策略（输入数据量/split.size 256MB），导致任务产生的Mapper并发数超过了最大限制数7777。

  说明

  该限制是防止用户直接提交生成大量Mapper任务，从而对Hologres文件或网络连接的稳定性产生影响。

• 解决措施

  您可以通过设置以下参数，解决报错问题。

  SET odps.external.holo.mapper.instances=10000; -- 提高并发上限，最高不超过10000。
  SET odps.sql.mapper.split.size=512; -- 调整任务并发数，最高不超过512M

基于Hologres外部表执行SQL作业时，运行慢，如何解决？

使用SDK搜索MaxCompute外部表数据速度慢

• 问题现象

  使用SDK搜索MaxCompute外部表数据速度慢。

• 解决措施

  外部表仅支持全量搜索，所以较慢，建议您改用MaxCompute内部表。