产品概述

阿里云流数据处理平台数据总线DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备,应用...

Flume插件

产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件,可以将采集到的数据写入DataHub,也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范,安装方便,可以很方便的向DataHub发布/订阅数据。产品安装 ...

新功能发布记录

2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...

创建同步OSS

准备OSS Bucket DataHub支持将数据同步到对象存储OSS中,在创建同步任务前,用户首先需要在OSS管控台创建OSS Bucket,作为DataHub数据同步的目标Bucket。2.服务关联角色授权 用户配置同步任务时,账号可以选择使用 AccessId/AccessKey 静态...

查看同步任务

DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能,目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据,并在...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

概述

DataHub数据同步功能 DataHub提供数据Sink/Source功能,即数据同步功能,DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中,打通阿里云产品间的数据流通。目前支持MaxCompute(原ODPS)、分析型数据库MySQL(ADS)、...

创建同步ADS

准备ADS实例和表结构 使用ADS管控台新建ADS集群DataHub同步时,会根据DataHub Field的数据类型同步到对应的ADS数据类型中,对应的类型映射关系如下所示:DataHub MySQL TINYINT TINYINT SMALLINT SMALLINT INTEGER INT BIGINT BIGINT ...

数据库实时导入DataHub

为了更加方便让数据数据实时导入到DataHub,联合数据集成一起开发了“数据库实时导入到DataHub”,尽量简化数据流入DataHub的流程。整体流程如下:使用图解 主账号使用方式:打开公有云DataHub Console,选择对应的Project,点击右上角的...

创建同步MaxCompute

1)针对TUPLE类型topic,MaxCompute目标表数据类型需要和DataHub数据类型相匹配,具体的数据类型映射关系如下:MaxCompute DataHub BIGINT BIGINT STRING STRING BOOLEAN BOOLEAN DOUBLE DOUBLE DATETIME TIMESTAMP DECIMAL DECIMAL ...

服务等级说明

服务等级说明 数据总线服务等级协议 本服务等级协议(Service Level Agreement,以下简称“SLA”)规定了阿里云向客户提供的数据总线(简称“数据总线”)的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...

创建同步RDS/MySQL/ADS3.0

schema如下图所示:建立同步任务这里写入模式选择IGNORE,导入所有字段 向DataHub中写入TUPLE数据数据内容如下图所示,共4条数据 确认同步数据这里采用MySQL客户端连接RDS服务查看数据数据结果如下图所示:同步数据到MySQL 准备工作 1....

功能概览

2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件,让您高效便捷的把数据接入到数据总线。2.2 数据投递 提供DataConnector模块,稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统...

产品定价

产品定价 数据总线产品已于2020年4月20号正式开始商业化收费,目前仅支持按量付费的计费模式,根据用户实际使用量来梯度计费,每月也为用户准备了一定的免费额度 按量付费 按量付费的单价,请查看产品价格。扣费周期为天:每天为您提供账单...

云监控报警

DataHub目前已经支持云监控报警,你可以通过创建报警规则方式对DataHub相关指标进行监控并报警,目前支持 订阅延迟、消费延迟、消费堆积量。查看监控数据 您可以在DataHub的监控页面,查看资源的运行状态和各个指标的使用情况。登录 云监控...

名词解释

名词解释 名词 解释 Project 项目(Project)是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是,DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub,需要独立创建。Topic...

Fluentd插件

sudo gem install-local fluent-plugin-datahub-0.12.25.gem 使用案例 案例一:CSV文件上传 下面以增量的CSV文件为例,说明下如何使用Fluentd将增量的CSV文件准实时上传到DataHub数据。CSV文件的格式如下所示:0,qe614c760fuk8judu01tn5x...

OGG for Oracle介绍

INTEGER BIGINT BINARY_FLOAT/BINARY_DOUBLE DOUBLE/DECIMAL FLOAT DOUBLE/DECIMAL date/timestamp TIMESTAMP/STRING 如果DataHub数据类型为TIMESTAMP,会自动转换为微秒时间戳 raw STRING raw字段会自动进行BASE64编码写入到DataHub 以上...

快速入门

参数 描述 Project 项目(Project)是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是,DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub,需要独立创建。描述 Project的...

社区文章

DataHub社区文章 简介:DataHub在云栖社区输出了一系列文章,有助于您了解和使用DataHub DataHub操作指南 DataHub使用指南 新功能说明 datahub3月份新功能概览 DataHub常见问题归类 Topic:...

用户支持

DataHub公共云用户群 欢迎扫码加入钉钉用户群。

DataHub服务关联角色

背景信息 DataHub服务关联角色(AliyunServiceRoleForDataHub)是在同步到OSS/OTS/FC时,为了完成数据同步功能,需要获取相应云服务的访问权限,而提供的RAM角色。更多关于服务关联角色的信息请参见 服务关联角色。应用场景 DataHub创建了...

同步任务修改

DataHub 页面现在已经支持同步字段修改,用户可以在页面上进行同步字段的修改,无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改,用户可以在页面上进行同步字段的修改,无需重启。具体步骤如下:在数据同步页签,点击...

DataHub-Dataworks Connection服务关联角色

DataHub-Dataworks Connection服务关联角色(AliyunServiceRoleForDataHubDWConnection)是在选择数据库实时导入时,为了完成DataWorks工作空间查询及创建,需要获取DataWorks的访问权限而提供的RAM角色。更多关于服务关联角色的信息请参见...

创建同步Hologres

default:将Datahub数据逐条写入Hologres dts_old:不启用新的附加列规则 dts:启动新的附件列规则 导入字段 需要导入Hologres的字段。可以根据实际业务需求选择导入部分或全部字段。鉴权模式 默认为AK。无 AccessId 访问Hologres实例的...

用量价格查询

用量价格查询 在首页选择”费用中心”,如下图所示:在费用中心选择 费用账单,右侧选择栏选择 账单明细,统计项选择 计费项,统计周期选择 按天,在下方产品一栏筛选datahub,即可看到每天、每一项dataHub的费用明细,如下图所示:收费...

OGG for Bigdata(Kafka)

对于Oracle19c及以下的版本均可以支持,目前OGG for Bigdata可以将数据写入Kafka,而DataHub已经兼容Kafka Producer协议,所以用户除了使用DataHub插件将Oracle数据写入DataHub之外,还可以使用OGG for Bigdata利用DataHub的Kafka接口写入...

OGG for MySQL

数据变更序号同步到datahub对应的字段,按数据变更先后递增,不保证连续,可以被columnMapping中的cidColumn覆盖-><cidColumn>record_id</cidColumn></defalutDatahubConfigure>!默认最严格,不落文件 直接退出 无限重试->!运行每批上次的最多...

Canal插件

canal[kə’næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 ...

Project操作

创建Project 控制台地址 DataHub WebConsole 创建Project 在WebConsole中直接点击创建Project后填写相关信息,注意同一个Region内...需要注意的是,一旦删除Project,该Project下所有Topic,数据,及资源均被删除,无法恢复,请谨慎操作。

指标查看

QPS QPS指标包括读请求QPS和写请求QPS,如下图所示:RPS RPS指标主要包括读请求RPS和写请求RPS,如下图所示:Throughput Throughput指标主要包含写数据吞吐量和读数据吞吐量,如下图所示:Throughput(Uncompressed)说明 该指标为DataHub 2.25...

常见问题

如何删除Topic中的数据 datahub目前不支持删除Topic中的数据,建议采用重置点位来让数据失效。在配置所定义的OSS路径下以随机文件名创建文件,每个Shard对应一个文件,当文件大小达到5GB时,将创建新文件,可以修改吗?不能修改 ADS无法...

Go SDK

ok { fmt.Println("Subscription used by other one")break } else { fmt.Println("Commit offset failed",err)break } } recordCount=0 } } cursor=gr.NextCursor } } 接口示例 project 操作 项目(Project)是DataHub数据的基本组织单元,...

创建同步ElasticSearch

f2 string,f3 string,f4 string 数据:["test1","test2","test3",null]ID属性列 数据id ES自动生成唯一ID f1 test1 f1,f3 test1|test3 ff 创建失败 f4 创建成功,但是同步失败,脏数据 6.Router属性列 用户可以根据写入DataHub数据来生成...

OGG for Big Data

一、环境要求 Oracle数据库,19c及以下数据库,版本不可高于源端OGG 源端,Oracle GoldenGate 19.1.0.0 目标端,Oracle GoldenGate for Big Data 19.1.0.0 OGG官方下载地址 备注:本文示例均已OGG19.1为例,其他支持版本可参看文末版本说明 ...

OGG Adapters

一、环境要求 源端已安装好Oracle11g(当前插件版本仅支持ORA11g数据库)源端已安装好OGG(建议版本Oracle GoldenGate V12.2.0.2,V12.2.X均可以使用)目标端已安装好OGG Adapters(建议版本Oracle GoldenGate Application Adapters V12.2....

权限控制

AliyunDataHubSubscribeAccess 向DataHub订阅数据的权限,只包含和读数据相关的必要操作,包括GetTopic,ListShard,GetRecords以及订阅和点位相关的所有接口。AliyunDataHubPublishAccess 向DataHub发布数据的权限,只包含和写数据相关的...

OGG插件介绍

随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大,传统的RDBMS难以...

通过STS方式访问DataHub

datahub.endpoint=<yourEndpoint>datahub.accessId=<yourAccessKeyId>datahub.accessKey=重要 阿里云账号AccessKey拥有所有API的访问权限,建议您使用RAM用户进行API访问或日常运维。强烈建议不要将AccessKey ID和AccessKey Secret保存到...

DataHub成本节省攻略

这个就是我们引入的batch序列化,batch序列化本质上就是DataHub数据传输中数据的定义的一种组织方式,batch并不是特指某种序列化的方式,而是对序列化的数据做了一个二次封装,比如我一次发送100条数据,那我把这100条数据序列化后得到一个...
共有110条 < 1 2 3 4 ... 110 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据总线 DataHub 云工作流 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台
新人特惠 爆款特惠 最新活动 免费试用