Datahub安全合规说明

1. 访问控制

1.1 认证

支持的用户身份包括阿里云账号、RAM用户、RAM角色,同时支持AccessKeyAccessKey Secret认证、多因素认证MFA(Multi-Factor Authentication)以及STS模式授权(Security Token Service)权限委托机制。

什么是访问控制:什么是访问控制

访问密钥管理(AccessKey):访问密钥管理(AccessKey)

RAM角色概览:RAM角色概览

什么是STS:什么是STS

1.2 授权

DataHub已经接入RAM(访问控制),支持资源(project / topic / 订阅)级别授权,通过RAM授权,用户可以精准控制每个账号的可以访问的资源以及对资源的操作,实现最小化权限管理。

资源

RAM中的资源描述

Project

acs:dhs:$region:$accountid:projects/$projectName

Topic

acs:dhs:$region:$accountid:projects/$projectName/topics/$topicName

Subscription

acs:dhs:$region:$accountid:projects/$projectName/topics/$topicName/subscriptions/$subId

DataHub支持的安全限制 Condition

Condition

功能

合法取值

acs:SourceIp

指定ip网段

普通ip, 支持*通配

acs:SecureTransport

是否是https协议

true/false

acs:MFAPresent

是否多设备认证

true/false

acs:CurrentTime

指定访问时间

ISO8601格式

权限策略管理:权限管理策略

权限控制:权限控制

1.3 IP 白名单

支持通过RAM限制访问的源端IP和源端VpcId,并且支持限制AK的源端IPVpcId。

暂不支持ipv6。

权限策略基本元素:权限策略基本元素

AccessKey网络访问限制策略:AccessKey网络访问限制策略

2. 数据完整性、保密性、可用性

2.1 数据传输加密

DataHub支持公网和VPC两种域名,VPC网络采用阿里云专用网络隧道,通过客户端SDK、Open API等方式连接DataHub时强制要求使用HTTPS TLS v1.2加密协议,防止数据在传输过程中被明文截取和篡改。

DataHub域名列表:DataHub域名列表

2.2 数据存储完整性和保密性

DataHub 采用分布式文件系统,自动为存储的数据创建多个副本(默认为三副本)。这些副本会被分布在不同的物理机器和机架上,以防止单点故障导致的数据丢失,确保数据的持久性和完整性。

DataHub将数据存储在飞天分布式文件系统中,系统提供一个扁平的线性存储空间,并对线性地址进行切片,一个分片称为一个Chunk。每一个Chunk会复制出三个副本,并将这些副本按照一定的策略存放在集群中的不同节点上,以防止由于一个Chunk Server或一个机架的故障导致的数据不可用。用户新增、修改、删除数据的操作均会同步到三个副本中,以保障用户数据的完整性和一致性。对于用户删除数据释放的存储空间,文件系统会进行回收,禁止其他用户访问,并进行数据擦除,以确保用户已删除数据的不可还原性。

3. 可运维可观测

3.1 支持的观测指标

控制台上可以查看 读写的QPS、RPS、throughout,throughout(Uncompressed),Latency、Fails多项指标,并且有历史流量趋势。

所有指标数据均接入云监控,通过云监控API可以直接获取指标。

名称

指标描述

readMetric

数据消费每秒请求数 (单位:count)

数据消费压缩后吞吐量(单位:KB)

数据消费原始吞吐量(单位:KB)

数据消费失败数(单位:count)

数据消费每秒数据量(单位:count)

数据消费请求延迟(单位:us)

writeMetric

数据写入每秒请求数 (单位:count)

数据写入压缩后吞吐量(单位:KB)

数据写入原始吞吐量(单位:KB)

数据写入失败数(单位:count)

数据写入每秒数据量(单位:count)

数据写入请求延迟(单位:us)

订阅消费

消费堆积量(单位:count)

消费延迟(单位:seconds)

订阅延迟(单位:seconds)

3.2 支持的告警类型

所有接入云监控的指标,都可以在云监控配置相关报警项。例如:throughput超过指定阈值报警。除此之外,还可以配置消费延迟和消费堆积量阈值告警。

云监控报警:云监控报警

3.3 审计日志

已对接阿里云审计日志 Action Trail。