全部产品
云市场

产品概述

更新时间:2018-12-05 14:08:20

DataHub基本介绍

阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。DataHub服务可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。您可以编写应用程序或者使用实时计算引擎来处理写入到DataHub的流式数据,比如:实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果,比如:实时图表、报警信息、实时统计等。

DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点。DataHub与阿里云实时计算引擎Realtime Compute无缝连接,您可以轻松使用SQL进行流数据分析。

DataHub服务也提供分发流式数据到各种云产品的功能,目前支持分发到MaxCompute(原ODPS),OSS等。

系统整体功能图,如下所示:system

产品优势

  • 高吞吐

    最高支持单主题(Topic)每日T级别的数据量写入,每个分片(Shard)支持最高每日8000万Record级别的写入量。

  • 实时性

    通过DataHub ,您可以实时的收集各种方式生成的数据并进行实时的处理,对您的业务产生快速的响应。

  • 易用性

    • DataHub提供丰富的SDK包,包括C++,Java,Pyhon,Ruby,Go等语言;
    • DataHub服务也提供Restful API规范,您可以用自己的方式实现访问接口。
    • 除了SDK以外,DataHub还提供一些常用的客户端插件,包括:Fluentd,LogStash,Flume等,您可以使用这些客户端工具往DataHub中写入流式数据。
    • DataHub同时支持强Schema的结构化数据和无类型的非结构化数据,您可以自由选择。
  • 高可用

    • 服务可用性不低于99.999%。
    • 规模自动扩展,不影响对外服务。
    • 数据持久性不低于99.999%。
    • 数据自动多重冗余备份。
  • 动态伸缩

    每个主题(Topic)的数据流吞吐能力可以动态扩展和减少,最高可达到每主题256000 Records/s的吞吐量。

  • 高安全性

    • 提供企业级多层次安全防护,多用户资源隔离机制。
    • 提供多种鉴权和授权机制及白名单、主子账号功能。

应用场景

DataHubR作为一个流式数据处理服务,结合阿里云众多云产品,可以构建一站式的数据处理服务。Environment

实时计算Realtime Compute

Realtime Compute是阿里云提供的实时计算引擎,提供使用类SQL的语言来进行流式计算。DataHub和Realtime Compute无缝结合,可以作为Realtime Compute的数据源和输出源。

Stream_DataFlow

流处理应用

您可以编写应用订阅DataHub中的数据,并进行实时的加工,把加工后的结果输出。

您可以把应用计算产生的结果输出到DataHub中,并使用另外一个应用来处理上一个应用生成的流式数据,来构建数据处理流程的DAG。

流式数据归档

您的流式数据可以归档到MaxCompute(原ODPS)中,通过创建DataHub Connector,指定相关配置,即可创建将Datahub中流式数据定期归档的同步任务。

提示(新用户无需关注)

  • 目前 老版本MaxCompute DataHub已处于待下线状态,不再接入新用户。DataHub用户请参看使用文档
  • 自2016年11月21日起,新版本DataHub正式公测上线。
  • 新老DataHub迁移手册

公测约束与说明

DataHub免费公测期间,资源有限,将会不定时执行下述回收策略

  • 凡15天无数据写入的Topic将有可能被系统临时关闭通道,再次使用需要重新申请资源。
  • 凡15天未无数据同步的DataConnector将有可能会被系统临时暂停任务,再次使用需要重启任务。