1. 访问控制
1.1 认证
支持的用户身份包括阿里云账号、RAM用户、RAM角色,同时支持AccessKey和AccessKey Secret认证、多因素认证MFA(Multi-Factor Authentication)以及STS模式授权(Security Token Service)权限委托机制。
什么是访问控制:什么是访问控制
访问密钥管理(AccessKey):访问密钥管理(AccessKey)
RAM角色概览:RAM角色概览
什么是STS:什么是STS
1.2 授权
DataHub已经接入RAM(访问控制),支持资源(project / topic / 订阅)级别授权,通过RAM授权,用户可以精准控制每个账号的可以访问的资源以及对资源的操作,实现最小化权限管理。
资源 | RAM中的资源描述 |
Project | acs:dhs:$region:$accountid:projects/$projectName |
Topic | acs:dhs:$region:$accountid:projects/$projectName/topics/$topicName |
Subscription | acs:dhs:$region:$accountid:projects/$projectName/topics/$topicName/subscriptions/$subId |
DataHub支持的安全限制 Condition
Condition | 功能 | 合法取值 |
acs:SourceIp | 指定ip网段 | 普通ip, 支持*通配 |
acs:SecureTransport | 是否是https协议 | true/false |
acs:MFAPresent | 是否多设备认证 | true/false |
acs:CurrentTime | 指定访问时间 | ISO8601格式 |
权限策略管理:权限管理策略
权限控制:权限控制
1.3 IP 白名单
支持通过RAM限制访问的源端IP和源端VpcId,并且支持限制AK的源端IP和VpcId。
暂不支持ipv6。
权限策略基本元素:权限策略基本元素
AccessKey网络访问限制策略:AccessKey网络访问限制策略
2. 数据完整性、保密性、可用性
2.1 数据传输加密
DataHub支持公网和VPC两种域名,VPC网络采用阿里云专用网络隧道,通过客户端SDK、Open API等方式连接DataHub时强制要求使用HTTPS TLS v1.2加密协议,防止数据在传输过程中被明文截取和篡改。
DataHub域名列表:DataHub域名列表
2.2 数据存储完整性和保密性
DataHub 采用分布式文件系统,自动为存储的数据创建多个副本(默认为三副本)。这些副本会被分布在不同的物理机器和机架上,以防止单点故障导致的数据丢失,确保数据的持久性和完整性。
DataHub将数据存储在飞天分布式文件系统中,系统提供一个扁平的线性存储空间,并对线性地址进行切片,一个分片称为一个Chunk。每一个Chunk会复制出三个副本,并将这些副本按照一定的策略存放在集群中的不同节点上,以防止由于一个Chunk Server或一个机架的故障导致的数据不可用。用户新增、修改、删除数据的操作均会同步到三个副本中,以保障用户数据的完整性和一致性。对于用户删除数据释放的存储空间,文件系统会进行回收,禁止其他用户访问,并进行数据擦除,以确保用户已删除数据的不可还原性。
3. 可运维可观测
3.1 支持的观测指标
控制台上可以查看 读写的QPS、RPS、throughout,throughout(Uncompressed),Latency、Fails多项指标,并且有历史流量趋势。
所有指标数据均接入云监控,通过云监控API可以直接获取指标。
名称 | 指标描述 |
readMetric | 数据消费每秒请求数 (单位:count) |
数据消费压缩后吞吐量(单位:KB) | |
数据消费原始吞吐量(单位:KB) | |
数据消费失败数(单位:count) | |
数据消费每秒数据量(单位:count) | |
数据消费请求延迟(单位:us) | |
writeMetric | 数据写入每秒请求数 (单位:count) |
数据写入压缩后吞吐量(单位:KB) | |
数据写入原始吞吐量(单位:KB) | |
数据写入失败数(单位:count) | |
数据写入每秒数据量(单位:count) | |
数据写入请求延迟(单位:us) | |
订阅消费 | 消费堆积量(单位:count) |
消费延迟(单位:seconds) | |
订阅延迟(单位:seconds) |
3.2 支持的告警类型
所有接入云监控的指标,都可以在云监控配置相关报警项。例如:throughput超过指定阈值报警。除此之外,还可以配置消费延迟和消费堆积量阈值告警。
云监控报警:云监控报警
3.3 审计日志
已对接阿里云审计日志 Action Trail。