场景描述

阿里云EMR服务Kafka和Hadoop安全集群使用Kerberos进行用户安全认证,通过ApacheRanger服务进行访问授权管理。本最佳实践中以Apache Web服务器日志为例,演示基于Kafka和Hadoop的生态组件构建日志大数据仓库,并介绍在整个数据流程中,如何通过Kerberos和Ranger进行认证和授权的相关配置。

解决问题

  • 创建基于Kerberos的EMR Kafka和Hadoop集群。
  • EMR服务的Kafka和Hadoop集群中Kerberos相关配置和使用方法。
  • Ranger中添加Kafka、HDFS、Hive和Hbase服务和访问策略。
  • Flume中和Kafka、HDFS相关的安全配置。

部署架构

部署架构图

产品列表

  • E-MapReduce

    阿里云 E-MapReduce (EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。

    更多关于E-MapReduce的介绍,参见E-MapReduce产品详情页

  • 专有网络VPC

    专有网络VPC帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。

    更多关于专有网络VPC的介绍,参见专有网络VPC产品详情页

  • 云服务器ECS

    云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。

    更多关于云服务器ECS的介绍,参见云服务器ECS产品详情页

  • 云数据库RDS

    阿里云关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle数据库)和MariaDB TX引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。

    更多关于云数据库RDS的介绍,参见云数据库RDS产品文档

详细信息

点击查看最佳实践详情

更多最佳实践

点击查看更多阿里云最佳实践