场景描述

互联网、游戏等行业客户基于Flink构建实时数仓, 通过Logtail采集日志,使用Flink实现对日志的拆分、处理,根据业务需求写入不同的数据存储,实时分析使用ADB存储、离线分析使用HDFS存储,构建高效、稳健的实时数据服务。

解决架构

解决架构图

解决问题

  • 日志采集、处理及分析
  • 日志使用Flink拆分到不同logstore
  • 日志使用Flink实时写入HDFS
  • 日志数据实时ETL
  • 日志实时写入ADB

相关产品

  • 实时计算

    实时计算(Alibaba Cloud Realtime Compute,Powered by Ververica)是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时,赋能用户标准实时数据处理流程和行业解决方案;支持 Datastream API 作业开发,提供了批流统一的 Flink SQL,简化 BI 场景下的开发;可与用户已使用的大数据组件无缝对接,更多增值特性助力企业实时化转型。

    更多关于实时计算的介绍,参见实时计算产品详情页

  • E-MapReduce

    阿里云 E-MapReduce (EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。

    更多关于E-MapReduce的介绍,参见E-MapReduce产品详情页

  • 日志服务 SLS

    行业领先的日志大数据解决方案,一站式提供数据收集、清洗、分析、可视化和告警功能。全面提升海量日志处理能力,实时挖掘数据价值,智能助力研发/运维/运营/安全等场景。

    更多关于日志服务的介绍,参见日志服务产品详情页

  • 分析型数据库MySQL版

    分析型数据库MySQL版(AnalyticDB for MySQL)是一种高并发低延时的PB级实时数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。

    更多关于分析型数据库MySQL版的介绍,参见分析型数据库MySQL版产品详情页

  • 云数据库 HBase 版

    面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。

    更多关于云数据库 HBase 版的介绍,参见云数据库 HBase 版产品详情页

  • 云数据库RDS

    阿里云关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle数据库)和MariaDB TX引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。

    更多关于云数据库RDS的介绍,参见云数据库RDS产品文档

  • 弹性公网IP(EIP)

    独立的公网IP资源,可以绑定到阿里云专有网络VPC类型的ECS、NAT网关、私网负载均衡SLB上,并可以动态解绑,实现公网IP和ECS、NAT网关、SLB的解耦,满足灵活管理的要求。

    更多关于弹性公网IP(EIP)的介绍,参见弹性公网IP(EIP)产品详情页

  • 专有网络VPC

    专有网络VPC帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。

    更多关于专有网络VPC的介绍,参见专有网络VPC产品详情页

  • 云服务器ECS

    云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。

    更多关于云服务器ECS的介绍,参见云服务器ECS产品详情页

详细信息

点击查看最佳实践详情

更多最佳实践

点击查看更多阿里云最佳实践