大数据近实时数据投递MaxCompute

本文介绍离线大数据场景使用MaxCompute构建云上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。

直达最佳实践

点击查看最佳实践详情

更多最佳实践

点击查看更多最佳实践

场景描述

本文以线下现有业务大数据离线数仓建设为背景,介绍如何在现有业务应用系统零改造的前提下,从Kafka集群切入,打通数据上云链路,解决数据复杂类型支持和动态分区问题,将数据近实时投递至MaxCompute,快速构建数仓服务。

解决问题

  • 混合云环境下,现有业务系统零改造,打通数据上云链路。

  • 使用UDF实现复杂数据类型转换和数据动态分区。

  • 使用DataWorks配置周期调度业务流程,数据自动入仓。

  • 借助MaxCompute优化计算引擎,实现降本增效。

部署架构图

图示