全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
流计算

数据采集

更新时间:2017-06-07 13:26:11

数据采集


数据采集

常言道”巧妇难为无米之炊”,所有的大数据分析系统都基于一个前提: 数据需要采集进入大数据系统。为最大化利用用户现有的流式存储系统,阿里云流计算对接了多种上游的流式存储,让用户可以不用进行数据采集、数据集成,即可享受现有的数据流式存储。


数据流程

阿里云流计算支持(即将支持)上述若干个数据存储系统,针对上述不同的流式存储,需要用户使用不同的数据集成工具进行数据采集,流计算对接的有:

  • DataHub

    DataHub提供了多类数据(包括日志、数据库BinLog、Iot数据流等等)从数据源头上传到DataHub的工具、界面,以及和一些开源、商业软件的集成,参看《DataHub相关介绍文档》,即可获取丰富多样的数据采集工具。

  • 日志服务(LogHub)

    LogHub是针对日志类数据一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。Log服务提供了诸多的针对日志的采集、消费、投递、查询分析等功能。

    查看《LogService有关数据采集》一章,了解如何使用日志进行流式数据消费。

  • 物联网套件(IOTHub)

    物联网套件是阿里云专门为物联网领域的开发人员推出的,其目的是帮助开发者搭建安全性能强大的数据通道,方便终端(如传感器、执行器、嵌入式设备或智能家电等等)和云端的双向通信。

    使用IotHub 规则引擎可以将IOT数据方便投递到DataHub,并利用流计算和MaxCompute进行数据加工计算。查看《IOT规则引擎使用》以查看如何将IOT数据推送到DataHub。

  • 数据传输(DTS)

    DTS支持以数据库为核心的结构化存储产品之间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。使用DTS的数据传输功能,可以方便的将RDS等BinLog解析并投递到DataHub,并利用流计算和MaxCompute进行数据加工计算。

    当前DTS传输到DataHub功能已经上线,欢迎使用。具体文档请查看《RDS到DataHub数据实时同步》

  • Message Service

    阿里云消息服务阿里云商用的消息中间件服务,具有大规模,高可靠、高并发访问和超强消息堆积能力的特点。流计算可以直接从消息服务读取流式数据。

    阿里云流计算对接消息服务当前仍在开发中,敬请期待。

  • MQ

    阿里云MQ服务是企业级互联网架构的核心产品,基于高可用分布式集群技术,搭建了包括发布订阅、消息轨迹、资源统计、定时(延时)、监控报警等一套完整的消息云服务。

    阿里云流计算对接MQ服务当前仍在开发中,敬请期待。

本文导读目录