MaxCompute安全白皮书

账号

MaxCompute产品需要使用阿里云账号进行购买和使用。注册阿里云账号，进行实名认证后可以购买MaxCompute服务，创建密钥AccessKey可以访问MaxCompute产品。MaxCompute支持您通过阿里云账号、RAM用户或RAM角色访问MaxCompute。

MaxCompute支持RAM鉴权。RAM（Resource Access Management）是阿里云提供的资源访问控制服务。通过RAM，主账号可以创建出子账号，子账号从属于主账号，所有资源都属于主账号，主账号可以将所属资源的访问权限授予给子账号。

认证

用户可以在阿里云控制台中自行创建AccessKey。AccessKey由AccessKey ID和AccessKey Secret组成，其中AccessKey ID是公开的，用于标识用户身份，AccessKey Secret是秘密的，用于鉴别用户身份。当用户向MaxCompute发送请求时，首先需要将发送的请求按照MaxCompute指定的格式生成签名字符串，然后使用AccessKey Secret对签名字符串进行加密以生成请求签名。

MaxCompute收到用户请求后，会根据AccessKey ID使用正确的AccessKey Secret对签名字符串生成签名，如果和请求签名一致即认为该请求是有效的。否则，MaxCompute将拒绝处理这次请求，并返回HTTP 403错误。

授权

用户对MaxCompute资源访问分为两种，即用户主账号访问和用户子账号访问。主账号是阿里云的一个账号主体，主账号下可以包含不同的子账号以便用户灵活使用。MaxCompute支持主、子账号的权限访问策略：

• 当用户使用主账号访问时，MaxCompute会校验该账号是否为对应资源的所有者，只有对应资源的所有者才具备访问该资源的权限。

• 当用户使用子账号访问时，此时会触发子账号授权策略。MaxCompute会校验该子账号是否被对应主账号授予了访问该资源的权限，同时也会校验该子账号对应的主账号是否具有该资源的所有者权限。

MaxCompute还支持更多的访问权限控制机制。

• 跨项目空间的资源分享

  假设用户是项目空间的Owner或管理员（Admin角色），用户需要申请访问用户的项目空间资源。 如果申请人属于用户的项目团队，此时建议用户使用项目空间的用户授权管理功能。但是如果申请人并不属于用户的项目团队，此时用户可以使用基于Package的跨项目空间的资源分享功能。

  Package是一种跨项目空间共享数据及资源的机制，主要用于解决跨项目空间的用户授权问题。

  使用Package之后，A项目空间管理员可以对B项目空间需要使用的对象进行打包授权（即创建Package），然后许可B项目空间安装这个Package。在B项目空间管理员安装Package之后，即可自行管理Package是否需要进一步授权给自己Project下的用户。

  Package使用方法示例如下。

  • Package创建者的操作示例如下。

    --创建Package。
    create package <pkgname>;
    **说明：
    --•仅Project的Owner有权限进行该操作。
    --•目前创建的Package名称不能超过128个字符。
    
    --添加资源到Package。
    add project_object to package package_name [with privileges privileges];
    remove project_object from package package_name;
    project_object ::= table table_name |
    instance inst_name |
    function func_name |
    resource res_name
    privileges ::= action_item1, action_item2, ...
    **说明:
    --•目前支持的对象类型不包括Project类型，即不允许通过Package在其他Project中创建对象。 
    --•添加到Package中的不仅仅是对象本身，还包括相应的操作权限。当没有通过[withprivileges privileges]来指定操作权限时，默认为只读权限， 即Describe/Select。“对象及其权限”被看作一个整体，添加后不可被更新。若有需要，只能删除和重新添加。
    --赋予其它项目空间使用权限。
    allow project <prjname> to install package <pkgname> [using label <number>];
    --撤销其它项目空间使用权限。
    disallow project <prjname> to install package <pkgname>;
    
    --删除Package。
    delete package <pkgname>;
    
    --查看Package列表。
    show packages;
    
    --查看Package详细信息。
    describe package <pkgname>;

  • Package使用者的操作示例如下。

    --安装Package。
    install package <pkgname>; 
    --说明:
    --•仅Project的Owner有权限进行该操作。
    --•对于安装Package来说，要求pkgName的格式为<projectName>.<packageName>。
    --卸载Package。
    uninstall package <pkgname>; 
    --说明: 对于卸载Package来说，要求pkgName的格式为<projectName>.<packageName>。
    --查看已创建和已安装的package列表。
    show packages;
    --查看package详细信息。
    describe package <pkgname>;

    被安装的Package是独立的MaxCompute对象类型，若要访问Package里的资源（即其他项目空间分享给用户的资源），必须拥有对该Package的Read权限。若请求者无Read权限，则需向ProjectOwner或Admin申请，ProjectOwner或Admin可以通过ACL授权机制来完成授权。

    通过ACL授权允许云账号odps_test@aliyun.com访问Package里的资源。示例如下。

    use prj2;
    install package prj1.testpkg;
    grant read on package prj1.testpackage to user
    aliyun$odps_test@aliyun.com;

• 列级别访问控制

  基于标签的安全（LabelSecurity）是项目空间级别的一种强制访问控制策略（Mandatory Access Control，MAC），它的引入可以让项目空间管理员更加灵活地控制用户对列级别敏感数据的访问。

  LabelSecurity需要将数据和访问数据的人进行安全等级划分。一般来讲，会将数据的敏感度标记分为如下四类：

  • 0级（不保密，Unclassified）。

  • 1级（秘密，Confidential）。

  • 2级（机密，Sensitive）。

  • 3级（高度机密，HighlySensitive）。

  MaxCompute也遵循这一分类方法，ProjectOwner需要定义明确的数据敏感等级和访问许可等级划分标准。默认时所有用户的访问许可等级为0级，数据安全级别默认为0级。

  LabelSecurity对敏感数据的粒度可以支持列级别，管理员可以对表的任何列设置敏感度标记Label，一张表可以由不同敏感等级的数据列构成。而对于view，也支持和表相同的设置，即管理员可以对view设置label等级。

  View的等级和它对应的基表的label等级是独立的，在view创建时，默认的等级也是0级。

  在对数据和人分别设置安全等级标记之后，LabelSecurity的默认安全策略如下：

  • No-ReadUp：不允许用户读取敏感等级高于用户等级的数据，除非显式授权。

  • Trusted-User：允许用户写任意等级的数据，新建数据默认为0级（不保密）。

  说明

  • 在一些传统的强制访问控制系统中，为了防止数据在项目空间内部的任意分发，一般还支持更多复杂的安全策略，例如：不允许用户写敏感等级不高于用户等级的数据（No-WriteDown）。 但在MaxCompute平台中，考虑到项目空间管理员对数据敏感等级的管理成本，默认安全策略并不支持No-WriteDown，如果项目空间管理员有类似需求，可以通过修改项目空间安全配置SetObjectCreatorHasGrantPermission=false以达到控制目的。

  • 如果是为了控制数据在不同项目空间之间的流动，则可以将项目空间设置为受保护状态（ProjectProtection）。设置之后，只允许用户在项目空间内访问数据，这样可以有效防止数据流出项目空间。

  项目空间中的LabelSecurity安全机制默认是关闭的，ProjectOwner需要自行开启。需要注意， LabelSecurity安全机制一旦开启，上述的默认安全策略将被强制执行。此时，当用户访问数据表时，除了必须拥有Select权限外，还必须获得读取敏感数据的相应许可等级。

• 数据保护机制（ProjectProtection）

  同时在多个项目空间中拥有访问权限的用户，可以自由地使用任意支持跨Project的数据访问操作来转移项目空间的数据。但是，如果项目空间中的数据非常敏感，不允许流出到其他项目空间中去，此时管理员可以使用项目空间保护机制——设置ProjectProtection，明确要求项目空间中数据只能本地循环，允许写入，不能读出。

  具体设置如下。

  set projectProtection=true;
  --设置ProjectProtection规则为数据只能流入，不能流出。
  --需要注意，默认ProjectProtection不会被设置，默认值为False，即数据保护机制按需开启。

• 开启数据保护机制后的数据流出方法

  设置TrustedProject。若当前项目空间处于受保护状态，如果将数据流出的目标空间设置为当前空间的TrustedProject，那么目标项目空间的数据流向将不会被视为触犯ProjectProtection规则。如果多个项目空间之间两两互相设置为TrustedProject，那么这些项目空间就形成了一个TrustedProject Group，数据可以在这个Project Group内流动，但禁止流出到Project Group之外。

  管理TrustedProject的命令如下

  list trustedprojects;
  -- 查看当前project中的所有TrustedProjects。 
  add trustedproject <projectname>;
  -- 在当前project中添加一个TrustedProject。 
  remove trustedproject <projectname>;
  -- 在当前project中移除一个TrustedProject。

• 资源分享与数据保护的关系

  在MaxCompute中，基于package的资源分享机制与ProjectProtection数据保护机制是正交的，但在功能上却是相互制约的。

  MaxCompute规定：资源分享优先于数据保护。即如果一个数据对象是通过资源分享方式授予其他项目空间用户访问，那么该数据对象将不受ProjectProtection规则的限制。

  如果要防止数据从项目空间的流出，在设置ProjectProtection=true之后，还需检查如下配置：

  • 确保没有添加trustedproject。如果有设置，则需要评估可能的风险。

  • 确保没有设置exception policy。如果有设置，则需要评估可能的风险，尤其要考虑TOC2TOU数据泄露风险。

  • 确保没有使用package数据分享。如果有设置，则需要确保package中没有敏感数据。

审计

MaxCompute会针对不同用户不同日志数据进行日志审计。在MaxCompute内部，MaxCompute提供元数据仓库存储日志数据。

访问控制

MaxCompute目前提供的Endpoint包含经典网络、公网和VPC网络，在网络上支持按照Project级别配置基于IP白名单的访问控制。目前MaxCompute支持的具体情况如下：

• 经典网络、VPC网络、Internet网络三网隔离，只能访问各自对应的Endpoint及IP。

• 没有配置VPC ID及IP白名单的Project可以被三种网络请求通过的相应域名访问，没有限制。

• 配置了VPC ID的Project只能被对应的VPC访问。

• 配置了IP白名单的Project只能被对应的机器访问 。

• 对于加了代理的访问请求，以最后一跳代理IP及VPC ID进行判断 。

--单独IP地址。
10.32.180.8,10.32.180.9,10.32.180.10
--IP地址段。  
10.32.180.8-10.32.180.12
--带子网掩码的IP地址。
10.32.180.0/23

下面将介绍Project级别IP白名单所涉及的相关配置操作。

setproject odps.security.ip.whitelist=101.132.236.134,100.116.0.0/16,101.132.236.134-101.132.236.144;

setproject odps.security.ip.whitelist=;

网络隔离

针对运行在安全容器中的任务，可能产生互相通信的需求。基于安全的考虑，这些通信无法构建在主机网络之上，所以MaxCompute基于安全容器构造了overlay的虚拟网络。让同一个任务的所有节点运行在同一个虚拟网络中，虚拟网络中的节点通过私网IP进行通信，无法访问主机网络。而对于用户定制化的外部网络需求，比如访问公网上的一个接口或者VPC内部的其他数据服务，MaxCompute也做了任务级别的打通。用户在作业启动时声明需要访问的网络目标，在必要的权限检查后，在作业维度上实现网络的打通。

通过以上技术，MaxCompute在单一的资源池上实现了网络强多租，让更多的业务形态成为可能。基于以上安全容器和虚拟网络的隔离，MaxCompute在一个多租的集群上提供了强大的UDF的实现。相对于其他平台提供的UDF，MaxCompute在UDF的能力上限制更少，允许访问本地IO和网络的功能，能够访问用户VPC内部的数据。比如湖仓一体的场景中，可以通过创建Networklink的方式打通对用户VPC的网络访问，在创建外部数据源的时候关联Networklink后，即可在MaxCompute内部通过SQL访问外部数据。任务级别的隔离，使得MaxCompute可以在单个集群内提供混合的计算形态，除了SQL和UDF的实现外，MaxCompute还支持了内部的PAI机器学习平台和开源的Spark引擎等。

备份

阿里云提供一个扁平的线性存储空间，并在内部对线性地址进行切片，一个分片称为一个Chunk。 对于每一个Chunk，都会复制出三个副本，并将这些副本按照一定的策略存放在集群中的不同节点上，保证用户数据的可靠。

Master的分布策略会综合考虑集群中所有Chunk Server的磁盘使用情况、在不同交换机机架下的分布情况、电源供电情况、及机器负载情况，尽量保证一个Chunk的三个副本分布在不同机架下的不同Chunk Server上，从而有效防止由于一个Chunk Server或一个机架的故障导致的数据不可用。

当有数据节点损坏，或者某个数据节点上的部分硬盘发生故障时，集群中部分Chunk的有效副本数会小于三。一旦发生这种情况，Master就会启动复制机制，在Chunk Server之间复制数据，保证集群中所有Chunk的有效副本数达到三份。

综上所述，对MaxCompute上的数据而言，所有用户层面的操作都会同步到底层三份副本上，无论是新增、修改还是删除数据。通过这种机制，保障用户数据的可靠性和一致性。

另外，在用户进行删除操作后，释放的存储空间由飞天分布式文件系统回收，禁止任何用户访问，同时对内容进行擦除，最大限度保证用户的数据安全性。

数据加密

MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足企业监管和安全合规需求。MaxCompute支持通过默认密钥（MaxCompute Default Key）和自带密钥（BYOK）加密或解密数据。同时，MaxCompute SQL提供了加密函数和解密函数，您可以根据实际需要选择合适的函数，对指定列进行加密或解密。

传输加密

加密数据参与计算的过程中，数据以密文进行传输，在计算端完成解密操作。针对外部产品或者客户端与MaxCompute进行数据读写的场景，由HTTPS协议保障数据传输的安全性。