Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
读API
说明 从返回值中提取的数据必须是数组类型。以下是返回值和映射关系配置的示例：{"code":"SUCCESS","data":{"pageSize":20,"pageNum":1,"list":[/需要提取的数组 {"name":{"firstName":"Alice","lastName":"Brown"},"age":22,"email":...
数组函数和运算符
本文介绍数组函数和运算符的基础语法及示例。日志服务支持如下数组函数和运算符。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹或被双引号（""）包裹的字符表示字段名或列名。例如：'status' 表示字符...
使用数据传输同步数据
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
复杂类型函数
输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回值说明 返回BOOLEAN类型。返回规则如下：如果ARRAY数组 a 中所有的元素满足 predicate 条件或ARRAY数组为空，返回结果为True。如果ARRAY数组 a 中存在元素不满足 predicate...
配置Kafka输入
在 输出模式 选择 多行输出 情况下，将先根据数组所在位置路径指定的JSON路径解析出JSON数组，然后取出JSON数组中的每一个JSON对象，再根据定义的字段名和取值方式解析组成输出字段，取值方式的定义与单行输出模式一样，可以通过.（获取子...
同步 OceanBase 数据库的数据至 RocketMQ
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
PLV8
JavaScript和数据库内置类型之间的自动映射 对于结果和参数，如果所需的数据库列类型是以下之一，则会自动映射数据库列类型和JavaScript数据类型。oid bool int2 int4 int8 float4 float8 numeric date timestamp timestamptz bytea json(>...
PLV8
JavaScript和数据库内置类型之间的自动映射 对于结果和参数，如果所需的数据库列类型是以下之一，则会自动映射数据库列类型和JavaScript数据类型。oid bool int2 int4 int8 float4 float8 numeric date timestamp timestamptz bytea json(>...
PLV8
JavaScript和数据库内置类型之间的自动映射 对于结果和参数，如果所需的数据库列类型是以下之一，则会自动映射数据库列类型和JavaScript数据类型。oid bool int2 int4 int8 float4 float8 numeric date timestamp timestamptz bytea json(>...
创建同步任务
选择数据来源和数据去向后，需指定源端和目标端列的映射关系，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中。此处需配置源端表字段和目标表字段为一一对应关系。配置通道控制。参数 描述 任务期望...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
pg_proc
proargtypes oidvector 一个函数参数的数据类型的数组。这只包括输入参数（含 INOUT 和 VARIADIC 参数），因此也表现了函数的调用特征。proallargtypes oid[]一个函数参数的数据类型的数组。这包括所有参数（含 OUT 和 INOUT 参数）。但是...
数据服务：低成本快速发布API
功能概述 作为数据仓库与上层应用系统间的“桥梁”，DataWorks数据服务为企业搭建统一的服务总线，帮助企业统一创建及管理对内、对外的API服务，解决数仓、数据库与数据应用间的“最后一公里”，加速数据的流动和共享。数据服务支持通过零...
同步 OceanBase 数据库的数据至 Kafka
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
CREATE TYPE
第一个参数是输入文本的C字符串形式，第二个参数是该类型本身的OID，或者对于数组类型来说，是其元素类型的 OID；第三个参数是目标列的类型修饰符 typmod（如果此信息未知，则会传递值-1）。输入函数必须返回对应的新数据类型值。通常，...
CREATE TYPE
第一个参数是输入文本的C字符串形式，第二个参数是该类型本身的OID，或者对于数组类型来说，是其元素类型的 OID；第三个参数是目标列的类型修饰符 typmod（如果此信息未知，则会传递值-1）。输入函数必须返回对应的新数据类型值。通常，...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的增量数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
同步 OceanBase 数据库的数据至 DataHub
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
OceanBase 数据库 MySQL 租户之间的数据同步
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
新建 Oracle 数据源
实例类型 参数 描述 VPC 内自建数据库 VPC 从 VPC 下拉列表中，选择目标 VPC。主机 IP 数据库宿主机的 IP。端口 数据库宿主机 IP 的端口号。数据库网关 网关名称 从 网关名称 下拉列表中，选择目标数据库网关的名称。数据库实例 从 数据库...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
如果未具备足够的出口带宽，会影响日志解析和数据迁移速度，可能导致同步延迟增大。如果源端和目标端数据库的 Collation 不同：可能导致数据同步不一致。例如，源端 utf8mb4_0900_ai_ci Collation 下两条数据 A 和 A 将无法全部写入目标端...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
基于AnalyticDB构建企业数仓
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
新建 TiDB 数据源
重要 您在 TiDB 数据库中配置的待订阅库表，需要和数据传输的数据迁移项目中配置的库表名保持一致。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
Oracle 机器和数据传输机器之间需要进行时钟同步（例如配置 NTP 服务），否则会存在数据风险。如果是 Oracle RAC，则多个 Oracle 实例之间也需要进行时钟同步。如果源端为通过数据库网关接入的 Oracle 数据库，请确保已通过数据库网关接入...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
散点层
说明 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示 value 值为0~10的数据将展示为10的大小，类型2设置为20，则表示 value 值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
新建 MySQL 数据源
实例类型 参数 描述 RDS 实例 RDS 实例 ID 从下拉列表中选择目标 RDS 实例的 ID。PolarDB 实例 PolarDB 实例 ID 从下拉列表中选择目标 PolarDB 实例的 ID。VPC 内自建数据库 VPC 从 VPC 下拉列表中，选择目标 VPC。主机 IP 数据库宿主机的 ...
专有网络VPC的数据源连通独享数据集成资源组
背景信息 如果数据源实例无外网地址，且未和数据集成资源组连通专有网络VPC环境，会导致配置数据源时，公共资源组和独享数据集成资源组测试连通性失败。您可以根据本文的操作，实现独享数据集成资源组连通专有网络VPC下的数据源。操作步骤 ...
使用DataWorks同步数据
配置数据来源和数据去向。配置数据来源：数据来源为DataWorks支持的任一数据源，本文以MaxCompute为例。参数含义如下。参数 描述 数据源 数据源的类型和名称。生产项目名 默认不可以修改。表 需要同步的表。分区信息 如果您每日增量数据...
- 产品推荐
- 这些文档可能帮助您