大数据近实时数据投递MaxCompute
更新时间:
本文介绍离线大数据场景使用MaxCompute构建云上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。
直达最佳实践
更多最佳实践
场景描述
本文以线下现有业务大数据离线数仓建设为背景,介绍如何在现有业务应用系统零改造的前提下,从Kafka集群切入,打通数据上云链路,解决数据复杂类型支持和动态分区问题,将数据近实时投递至MaxCompute,快速构建数仓服务。
解决问题
混合云环境下,现有业务系统零改造,打通数据上云链路。
使用UDF实现复杂数据类型转换和数据动态分区。
使用DataWorks配置周期调度业务流程,数据自动入仓。
借助MaxCompute优化计算引擎,实现降本增效。
部署架构图
反馈
- 本页导读
文档反馈