将MySQL数据迁移到Redis
迁移步骤 分析源端数据结构，在ECS中创建如下的迁移脚本，保存到名为mysql_to_redis.sql的文件中。SELECT CONCAT("*12\r",#这里的12是下方字段的数量，由MySQL表中的数据结构决定 '$',LENGTH('HMSET'),'\r ',#HMSET是在Redis中写入数据时...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
添加RDS PostgreSQL数据库
前提条件 添加数据库之前请先安装Ganos插件，详情请参见 GanosBase时空数据库。添加数据库前请先参见 创建RDS PostgreSQL实例，开通对应数据库服务并添加白名单。外网连接数据库 登录 DataV-Atlas控制台。在 数据中心 页面下方，单击 新建...
跑马灯
数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器，可在 设置数据源 面板配置数据过滤器脚本，详情请参见 过滤器使用说明。数据响应结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 ...
添加PolarDB PostgreSQL数据库
前提条件 添加数据库之前请先安装Ganos插件，详情请参见 GanosBase时空数据库。添加数据库前请先参见 创建PolarDB PostgreSQL实例，开通对应数据库服务并添加白名单。外网连接数据库 登录 DataV-Atlas控制台。在 数据中心 页面下方，单击 ...
常见问题
MySQL端存在白名单相关设置，需要在MySQL端添加ClickHouse的白名单。对于Kafka外表，表创建成功，但查询没有结果。常见原因是Kafka中数据通过表结构给出的字段和格式解析失败，报错信息会给出解析失败的具体位置。为什么程序无法连接...
迁移时源库为MySQL的注意事项及限制
如果迁移的源数据库类型为MySQL，如自建MySQL、RDS MySQL，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为MySQL的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：MySQL间...
构建数据仓库
用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台，并且计算和存储成本最低。平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI...
搭建页面
智能搭建提供一个统一的页面编辑器，同时支持画布搭建（仅使用基础组件）和模块搭建（使用基础组件和业务组件）。模块搭建支持在搭建页面时，修改组件的数据源。页面搭建主要包括添加组件和配置信息两个部分。前提条件 已创建应用页面，...
实施步骤
步骤二：添加DLA数据源 在添加数据源之前，您必须先为您的DLA配置白名单，以确保DataV能正常访问您的DLA。DLA外网公共白名单：DLA外网所有region都需要配置以下公共白名单。139.224.92.81/24,139.224.92.22/24,139.224.92.35/24,139.224.4....
Bloom
Bloom是一种概率性数据结构（space-efficient probabilistic data structure），在大规模数据中，仅需消耗较低的内存来判断一个元素是否存在。而TairBloom基于Scalable Bloom Filter实现，具有动态扩容的能力，并且可以在扩容时维持误判率...
步骤二、应用搭建
在列表左上角拖入三个 文本，并将第二个文本外面包裹一个 Data 数据容器：点击右侧逻辑流选择框，添加一个后端逻辑流：获取登录用户，逻辑流返回值设置为 系统数据模块 中的 系统用户 数据模型。单击 保存，创建逻辑流，自动完成逻辑流绑定...
ClickHouse整库数据离线同步至Hologres
在数据源侧添加数据库白名单。如果您的独享数据集成资源组和数据源属于不同地域，可使用公网连通独享资源组和数据源。实现网络连通需要执行：在数据源侧添加数据库白名单。步骤1 新增专有网络绑定和自定义路由 说明 如果您使用公网连通独享...
应用开发
数据模型：包含数据模型、结构体和枚举值的创建、修改和删除等操作。逻辑编排：包含前端逻辑流和后端逻辑流的创建、修改和删除等操作。工作流编排：包含工作流的创建、修改和删除等操作。集成管理：包含添加连接器和添加触发器等操作。资源...
新建开发环境场景并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 云计算资源 生产环境中节点输入使用的物理...
新建开发环境场景并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 云计算资源 生产环境中节点输入使用的物理...
Vertica数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } Writer脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须与添加的数据源名称保持一致。是 无 jdbcUrl 描述的是到对...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
若您无法为源端添加分片键，源MongoDB数据库的迁移操作，请参见 MongoDB（无分片键）迁移至MongoDB（分片集群架构）。在任务开始后，待迁移的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。仅支持结构迁移和全...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
若您无法为源端添加分片键，源MongoDB数据库的迁移操作，请参见 MongoDB（无分片键）迁移至MongoDB（分片集群架构）。在任务开始后，待迁移的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。仅支持结构迁移和全...
新功能发布记录
用户指南 Topic操作 DataHub服务管理角色 创建OSS/OTS/FC的数据同步时，选择STS鉴权方式，则会自动创建DataHub服务管理角色（之前为页面上手动授权）数据同步 DataHub服务关联角色 Schema新建时支持添加注释 创建Scheme表结构支持添加字段...
使用数据传输迁移数据
前提条件 在迁移数据之前，您需要确认以下信息：数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。您已创建源端和目标端的数据源。详情请参见 新建数据源 模块的内容。源数据库和目标数据库均可以连通网络。您已为源端 ...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
如何为备份客户端设置代理服务器
本文介绍如何在Windows Server中为备份客户端设置代理服务器。前提条件 您已搭建自己的代理服务器。如果在搭建代理服务器过程中遇到阻碍，请参见 步骤1：准备代理服务器 中提供的Windows中使用Apache HTTP服务器来搭建代理服务器的方法。...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
在线多表join快速搭建
本文介绍如何快速搭建支持在线多表join功能的实例。前提条件 成功 注册阿里云账号 并通过 实名认证。第一次开通阿里云账号并登录控制台时，会提示先创建access key才能继续使用。创建及使用应用依赖access key参数，主账号下access key参数...
如何使用MySQL连接模块
在应用管理后台页面，单击 添加数据，对MySQL连接进行初始化配置。步骤三、使用自定义逻辑流操作 新建逻辑流，并使用 MySQL连接模块 中的自定义逻辑流操作来查询数据库。在左侧功能区选择>后端逻辑流>添加逻辑流，填入逻辑流名称为 MySQL...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
词云
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
创建RDS MySQL数据订阅通道
注意事项 由于使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更不会被订阅到，客户端在将消费到的数据写入目标表时可能会因为表结构不一致而导致写入失败。如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
您可以通过结构迁移、全量迁移和增量同步等，无缝迁移源端数据库的存量业务数据和增量数据至 OceanBase 数据库 MySQL 租户。TiDB 数据库支持在线事务处理和在线分析处理（Hybrid Transactional and Analytical Processing，HTAP），是一款...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
离线同步常见问题
实例ID形式添加数据源：在数据库名后拼接，格式为 database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45 。修改数据库相关的编码格式为utf8mb4。例如，在RDS控制台修改RDS的数据库编码格式。说明 设置RDS数据源编码格式命令：set...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
- 产品推荐
- 这些文档可能帮助您