外部表常见问题
查询外部表Tablestore数据慢 问题现象 查询外部表Tablestore的数据慢，同样的业务数据，1个实时写入Tablestore，1个定时写入MaxCompute，两个表结构和数据量一样。查询MaxCompute内部表耗时远小于查询Tablestore外部表。解决措施 这种情况...
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
产品计费
查询冷存储的数据时，查询速度比查询热存储的数据慢。数据查询费用 0.2元/GB 0.3元/GB 查询冷存储的数据时，按量收取数据查询费用。企业版 V1 和V0 重要 仅企业版 V1收取包年包月的费用。公共云 计费项 计费方式 定价 说明 包年包月的费用 ...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
内置时空数据引擎Ganos
提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建，支持Turn、U-Turn等概念，支持TSP（旅行商问题）、KSP（多条线路最短路径）、TRSP（转向限制的最短路径）等一系列路径规划...
安装Agent
说明 如果您要审计的数据库所在ECS使用的是经典网络，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统网络互通，然后在ECS服务器上安装Agent。连通经典网络中的ECS和数据库审计系统VPC的具体操作，请参见 审计经典...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
使用SDK示例代码消费订阅数据
说明 如果您部署SDK客户端所属的ECS实例与数据订阅通道属于经典网络或同一专有网络，建议通过内网地址进行数据订阅，网络延迟最小。在DTS控制台单击目标订阅实例ID，在 基本信息 页面的 网络 区域，您可以获取网络地址及端口号信息。topic ...
使用SDK示例代码消费订阅数据
说明 如果您部署SDK客户端所属的ECS实例与数据订阅通道属于经典网络或同一专有网络，建议通过内网地址进行数据订阅，网络延迟最小。在DTS控制台单击目标订阅实例ID，在 基本信息 页面的 网络 区域，您可以获取网络地址及端口号信息。topic ...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务...如果上传数据速度太慢，可以考虑使用多线程上传方式。更多Tunnel Endpoint信息，请参见 Endpoint。相关文档 关于数据传输服务详情介绍，请参见 数据传输服务概述。
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
MongoDB实例如何获取耗时较长的慢请求信息
云数据库MongoDB默认开启了慢请求分析功能，系统将慢请求的详细信息记录到对应数据库中的system.profile集合内。您可以通过查看system.profile集合的数据获取慢请求信息，详情请参见 分析MongoDB数据库的慢请求。适用于 云数据库MongoDB
创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
持久内存型
大规格优化 解决大规格下执行AOF重写调用fork引起的延时抖动、服务数据加载慢等问题，无需在性能与持久化中取舍。可提供128~512 GB的大容量主从规格，集群版预计最大规格为32 TB。掉电数据不丢失 强大的命令级持久化保障，每个写操作持久化...
持久内存型
大规格优化 解决大规格下执行AOF重写调用fork引起的延时抖动、服务数据加载慢等问题，无需在性能与持久化中取舍。可提供128~512 GB的大容量主从规格，集群版预计最大规格为32 TB。掉电数据不丢失 强大的命令级持久化保障，每个写操作持久化...
概述
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家内多个地域的多个 PolarDB 集群组成的网络。本文将介绍GDN特性等详情。GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群...
连接全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，在本文介绍如何查看GDN的集群地址并连接GDN。GDN连接地址 GDN不提供统一的连接地址，但GDN中每个子集群（主集群和从集群...
API概览
本产品（云数据库 ...全球数据库网络（GDN）管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据库网络 创建一个新的全球数据库网络（GDN）。DeleteGlobalDatabaseNetwork 删除全球数据库网络 删除全球数据库网络（GDN）。...
应用场景
异地灾备与异地多活是全球数据库网络（Global Database Network，简称GDN）中两种典型的应用场景。本文介绍这两种典型场景的业务架构及部署流程。异地灾备 通过异地灾备实现跨地域高可用，提升数据安全性和系统可用性。当发生机房或数据...
常见问题
PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务，运行报错：...
离线同步日志分析
定位占用该资源的任务，详情请参见 数据同步慢的场景及解决方案。您也可以找到占用该资源的任务列表及责任人，与其协调降低任务并发数。您还可以减少当前同步任务的并发数并重新提交发布任务。还支持您对任务执行资源组进行扩容。详情请...
全增量同步任务常见问题
PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？全增量实时至MaxCompute时，数据源被置灰了没法选择怎么办？实时任务，运行报错：...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
API概览
DescribeSQLSamples 查询慢 SQL 执行明细的采样数据 查询慢 SQL 执行明细的采样数据。DescribeOasSQLHistoryList 查询 SQL 执行历史 查询 SQL 执行历史信息。DescribeOasTopSQLList 查询 TopSQL 列表 查询诊断系统采集到的 SQL 执行性能...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
通过DataWorks导入
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 HDFS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或...
新增和使用独享数据集成资源组
由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，且不会因白名单限制等原因不能访问数据源。因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
版本发布记录
2024年01月 功能名称 描述 相关文档 社区兼容版22.8 优化 从MaxCompute外表导入数据时，增加支持独享Tunnel和在网络传输过程中进行数据压缩功能。默认打开text_log日志，记录日志等级为Warning、Error和Fatal的日志，可通过system.text_log...
使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
通用参考：添加路由
如果添加路由后，仍然存在网络连通问题，请根据如下因素进行排查：如果独享资源组访问的是本地IDC数据源，或者跨账号访问数据源，请先参考 配置资源组与网络连通 进行网络连通，再为独享资源组绑定与数据库网络连通的VPC。如果您的数据源已...
OceanBase 数据库 MySQL 租户之间的数据同步
本文为您介绍如何创建 OceanBase 数据...如果数据同步项目运行报错（通常由于网络不通或进程启动过慢导致），您可以在数据同步项目的列表或详情页面，单击 恢复。相关文档 新建 OceanBase 数据源 批量操作数据同步项目 查看数据同步项目的详情
同步 OceanBase 数据库的数据至 RocketMQ
如果数据同步项目运行报错（通常由于网络不通或进程启动过慢导致），您可以在数据同步项目的列表或详情页面，单击 恢复。相关文档 新建 OceanBase 数据源 新建 RocketMQ 数据源 批量操作数据同步项目 查看数据同步项目的详情
- 产品推荐
- 这些文档可能帮助您