网络开通流程

SQL自定义函数（UDF）任务

• 参数设置如下：

  --设置网络连接申请表单中配置的公网IP或域名、端口。即下方SQL语句要访问的公网IP或域名。
  --如果需要访问多个域名或端口，请使用英文逗号（,）分隔
  SET odps.internet.access.list=<ip_address:port|realm_name:port>;
  --执行SQL语句调用UDF。
  SELECT <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | realm_name:port：必填。目标公网IP或域名、端口。

• UDF_name：访问公网IP或域名的UDF。

• 任务示例代码如下：

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• 执行：基于UDF示例代码创建的自定义函数名称为url_fetch，网络连接审核通过后，执行命令示例如下。

  SET odps.internet.access.list=www.aliyun.com:80;
  SELECT url_fetch("http://www.aliyun.com");

Spark on MaxCompute任务

参数设置：此配置项需加在Spark客户端的conf文件中或DataWorks提交Spark作业时的配置项中。

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

第1步：授权操作

• 对操作用户进行授权：需要针对登录用户，授予能够创建网络连接对象的权限（详情请参见Networklink）。授权的用户需要是项目所有者（Project Owner），或具备租户级别的Super_Administrator或Admin角色的用户（详情请参见角色规划）。授权过程可参见租户内对象权限一览表。

• 对MaxCompute进行授权：授权的目的在于允许MaxCompute在VPC内创建ENI网卡，以实现MaxCompute到用户VPC的连通。用户只要在阿里云账号登录态下单击授权即可。

  说明

  MaxCompute访问VPC时的计费规则请参考功能计费。

第2步：配置安全组规则

在VPC实例下，创建独立安全组用于控制MaxCompute对VPC网络内的各种资源的访问权限。

1. 登录专有网络管理控制台，单击目标VPC实例ID后，单击资源管理页签。

2. 在资源管理页签的专有网络资源区域，将鼠标悬停至安全组数值上方后，单击添加（注意：选择安全组为普通安全组，不是企业安全组。普通安全组的出口是默认开启的。企业安全组的出口是默认关闭的，会导致无法访问VPC内的任何服务），为MaxCompute创建独立安全组并记录安全组ID。需要选择与连通服务相同的VPC网络。更多创建安全组操作，请参见创建安全组。

   • 添加安全组：

   • 配置安全组：配置方法请参见安全组应用案例

第3步：创建MaxCompute与目标VPC网络间的网络连接

阿里云账号（主账号）或拥有MaxCompute租户级别的Super_Administrator或Admin角色的RAM子账号（详情请参见MaxCompute租户级别角色），可以在MaxCompute控制台创建MaxCompute与VPC网络之间的连接。操作如下：

1. 登录MaxCompute控制台。

2. 在MaxCompute控制台的左侧导航栏单击租户管理 > 网络连接 > 新增网络连接。

3. 在新增网络连接对话框中，按下表填写参数后单击确定。

   参数名称	说明
   连接名称	自定义网络链接名称。格式如下： 字母开头。 只能包含字母、下划线（_）和数字。 长度在1-63个字符。
   类型	网络连接类型。默认为直通连接（passthrough）。 说明 直通连接对应的即是专有网络连接方案。
   区域	MaxCompute支持的通过专有网络连接方案开通网络连接的地域。详情请参见开通地域。
   已选择VPC	VPC实例ID。 获取方式如下： 连接HBase、Hadoop集群时：您可以在对应控制台的网络连接信息处获取该信息。 其他情况：登录专有网络管理控制台，在专有网络页面即可获取VPC ID。
   交换机	VPC网络绑定的交换机ID。 获取方式如下： 连接HBase、Hadoop集群时：您可以在对应控制台的网络连接信息处获取该信息。 其他情况：登录专有网络管理控制台，在左侧导航栏单击交换机，即可在右侧通过VPC实例ID获取到交换机ID。
   安全组	步骤【开通专线网络连接】中记录的安全组ID。

第4步：配置目标服务的安全组

在完成上述操作（即ENI专线开通）后，用户还需要在待访问的服务中增加相关安全规则，授权代表MaxCompute的安全组，即上述第2步中提供的安全组能访问哪些服务的具体端口（例如9200、31000等）。

例如，用户需要访问阿里云RDS，则需要在RDS中增加规则，允许第2步中创建的安全组访问。如果用户需要访问的服务无法添加安全组，只能添加IP，那么需要将目标服务所在vSwitch网段都添加进来。

• 配置Hadoop集群安全组。

  • 为Hadoop集群的安全组配置如下信息，确保MaxCompute可以访问Hadoop集群。安全组配置内容如下：

    • 配置Hadoop集群所在安全组的入方向访问规则。

    • 授权对象为ENI所在的安全组，即步骤2中创建的安全组。

    • HiveMetaStore端口：9083。

    • HDFS NameNode端口：8020。

    • HDFS DataNode端口：50010。

  • 例如，当您连接在阿里云E-MapReduce上创建的Hadoop集群时，您需要配置的安全组规则如下图所示。更多配置操作，请参见创建安全组。

• 配置HBase集群安全组。

  • 将为MaxCompute创建的安全组或ENI IP加入HBase集群的安全组或IP白名单中。

  • 例如，当您连接阿里云HBase集群时，可以登录HBase管理控制台，在集群列表页面单击目标集群名称后，在左侧导航栏单击访问控制，即可在安全组或白名单设置页签添加安全组或IP白名单。更多添加安全组或IP白名单操作，请参见设置白名单和安全组。

    说明

    如果不允许添加安全组，您可以在白名单设置页签添加MaxCompute创建的ENI IP。当MaxCompute配置变更时，ENI IP可能会发生变化，推荐您添加交换机ID的IP网段添加至白名单。

• 配置RDS安全组。

  • 将为MaxCompute创建的安全组或ENI IP加入RDS安全组或IP白名单中。

  • 例如，当您连接阿里云RDS时，可以登录RDS管理控制台，在实例列表页面单击目标实例名称后，在左侧导航栏单击白名单与安全组，即可在安全组或白名单设置页签添加安全组或IP白名单。更多添加安全组或IP白名单设置操作，请参见设置安全组或设置IP白名单。

  说明

  当MaxCompute配置变更时，ENI IP可能会发生变化，推荐您将交换机ID的IP网段添加至白名单。

使用SQL访问VPC网络

• UDF访问VPC网络（详情请参见：通过UDF访问VPC网络资源）。代码如下：

  --设置网络连接名称，即基于专有网络连接方案配置的网连接名称，仅本Session有效：
  SET odps.session.networklink=testLink;

• 外部表访问VPC网络（详情请参见：RDS外部表、HBase外部表、Lindorm外部表）。代码如下：

  -- 在建表语句中设置参数
   TBLPROPERTIES(
  'networklink'='<networklink_name>')

• 湖仓一体配置Networklink（详情请参见：MaxCompute湖仓一体概述）。

使用Spark访问VPC网络

运行Spark作业，需要增加如下配置，即可使用ENI专线连通目标VPC内的服务（详情请参见：Spark访问VPC实例）。

• spark.hadoop.odps.cupid.eni.enable = true

• spark.hadoop.odps.cupid.eni.info=regionid:vpc id