场景:配置分库分表离线同步任务

DataWorks支持通过向导模式或脚本模式配置离线同步任务,您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源,详情请参见 支持的数据源与读写插件。背景信息 分分表...

产品动态

2022年 功能名称 功能概述 发布时间 相关文档 GDB AutoML 阿里云图数据库自动机器学习(Graph Database Auto Machine Learning,简称GDB AutoML)是一个面向企业和个人开发者的机器学习集成开发环境,实现将机器学习应用于现实问题的端到端...

内核版本

自动机器学习 图数据库自动机器学习(Graph Database Auto Machine Learning,简称GDB Automl)是面向企业和个人开发者的机器学习集成开发环境,可以将图数据库GDB中的数据直接导入到GDB Automl组件中,实现将机器学习应用于现实问题的...

核心自治技术案例解析

自动SQL优化前平均RT及扫描行数:自动SQL优化后平均RT及扫描行数:自动弹性 云上数据库提供基于计算规格的选项以及存储容量供用户选择,当用户业务Workload规模变化时可适当进行弹性扩缩容,但对于云原生应用而言,数据库能够根据业务...

产品功能

阿里云图数据库自动机器学习(Graph Database Auto Machine Learning,简称GDB Automl)支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...

离线同步能力说明

数据集成的离线同步功能为您提供数据读取(Reader)和写入插件(Writer),方便您通过定义来源与去向数据源,并结合DataWorks调度参数使用,将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...

什么是图数据库自动机器学习?

阿里云图数据库自动机器学习(Graph Database Auto Machine Learning,简称GDB Automl)是一个面向企业和个人开发者的机器学习集成开发环境,实现将机器学习应用于现实问题的端到端流程自动化的组件,将算法选择、特征工程、参数调整、迭代...

通过脚本模式配置离线同步任务

说明 支持同步源端分库分表数据至目标单表,详情请参见:场景:配置分分表离线同步任务。若数据源与资源组网络不通,请参考界面提示或文档进行网络连通配置。详情请参见:配置资源组与网络连通。步骤三:转脚本模式并导入模板 单击工具栏...

注意事项

如果数据库分片集群是分库分表模式,则所有数据库分表都需要配置分库分表规则,如果数据库分片中只有单表,分库分表规则可以直接配置 0 即可。在如下配置中,single_table 会路由到 group_00 分片:使用限制 仅支持 DML 语句(INSERT、...

库分表

数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中,后端的这些 RDS 数据库被称为分库,分库中的表被称为分表。拆分后,每个分库负责一份数据的读写操作,从而有效的分散了整体访问压力。在系统扩容时,只需要水平增加...

数据传输作业:数据集成

实时同步 DataWorks提供的实时数据同步功能,使用单表或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中,实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗,并支持多个...

通过向导模式配置离线同步任务

还支持同步源端分库分表数据至目标单表,详情请参见:场景:配置分分表离线同步任务。若数据源与资源组网络不通,请参考界面提示或文档进行网络连通配置。详情请参见:配置资源组与网络连通。步骤三:配置数据来源与去向 在选择数据源...

库分表(Alias功能)

自动分表 搜索服务支持按照时间字段自动分表,大大简化业务逻辑。下面以具体的示例来介绍:业务要求以周为单位创建索引表,并且能够自动删除旧的索引表。curl...

库分表(Alias功能)

库分表 业务大部分场景只访问最近一周的数据,可以每隔一周新建一张表来存储,这样可以确保高效的查询热数据。在这个场景中需要自己来维护表的创建和删除,带来一定的业务复杂性。本文介绍的Alias(别名)将会完美的解决上面两个问题。...

拆分函数概述

PolarDB-X 1.0 是一个支持既分库又分表数据库服务。本文将介绍 PolarDB-X 1.0 拆分函数的相关信息。拆分方式 在 PolarDB-X 1.0 中,一张逻辑表的拆分方式由拆分函数(包括分片数目与路由算法)与拆分键(包括拆分键的 MySQL 数据类型)...

数据清理

背景信息 ODC 支持在源数据库中的数据归档到目标数据库后,删除源数据库中的数据,以提高数据库查询性能,降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...

RDS/PolarDB 数据源配置分库分表

一般用户的分库分表分两种情况:单多表:database1 table1、table2、table3、table4.多库多表:database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...

RDS/PolarRDB 数据源配置分库分表

一般用户的分库分表分两种情况:单多表:database1 table1、table2、table3、table4.多库多表:database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...

管理MySQL Catalog

例如,有一个分库分表的MySQL数据库,包括user01、user02和user99等多个表,分散在db01~db10等数据库中,且所有表的Schema都相互兼容,则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...

创建数据

说明 数据库系统的内置数据库是否自动同步到项目是通过系统配置项 odc.connect.database.sync.block-internal-database 确定。该配置项默认为 true,表示不会自动将内置的数据库转移到绑定的项目。ODC 识别的数据库系统内置数据库如下:...

迁移评估概述

功能 描述 数据库对象评估 支持直接连接源端数据库自动获取源端数据库对象的信息,评估源端数据库至 OceanBase 数据库对应版本的兼容性。目前支持进行对象评估的数据库类型及版本如下:Oracle 数据库:11g/12c/18c/19c MySQL 数据库:5.6...

MongoDB逻辑备份

支持类型如下:有公网IP:Port的自建数据库 ECS上的自建数据库数据库MongoDB 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 当您选择云数据库MongoDB时,系统会自动从备库读取数据...

自定义 HINT

HINT 作为一种 SQL 补充语法,在关系型数据库中扮演着非常重要的角色。它允许用户通过相关的语法影响 SQL 的执行方式,从对 SQL 进行特殊的优化。同样,数据访问代理也提供了自定义的 HINT 语法。HINT 使用基本语法:/*+DBP:hint 语句*/SQL...

接入阿里云ECS自建数据库实例

本文介绍如何在数据库自治服务DAS中接入阿里云ECS自建数据库。前提条件 DAS目前支持接入的ECS自建数据库引擎有:MySQL PostgreSQL MongoDB Redis 说明 目前DAS仅支持接入6.0及以下版本的自建Redis。部署数据库实例的ECS与DAS属于同一个阿里...

接入其他自建或其他云厂商数据库实例

本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库,包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎:MySQL MongoDB PostgreSQL Redis 说明 ...

数据库高级特性管理

您可以在RDS管理控制台查看或修改数据库中的各类属性,也可以手动收缩数据库事务日志和更新数据库统计信息,以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法,请参见 创建数据库。实例所在地域必须在:华东1(杭州)、...

SQL Server逻辑备份

无公网IP:Port的自建数据库(通过数据库网关DG接入):可通过数据库网关备份自建数据库,您需要提前为数据库实例配置数据库网关,并在此配置步骤选择目标 网关DG实例ID,配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...

应用场景

业务复杂度高是该类业务的典型特征 典型的应用场景如下:分库分表后的跨数据库分布式事务 例如支付宝的交易服务,随着业务规模的增大,单个交易流水表已经不能满足业务需求,需要通过分库分表实现数据水平拆分。但是水平拆分后,单表的数据...

RDS MySQL或自建MySQL逻辑备份

无公网IP:Port的自建数据库(通过数据库网关DG接入):可通过数据库网关备份自建数据库,您需要提前为数据库实例配置数据库网关,并在此配置步骤选择目标 网关DG实例ID。配置方法,请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...

空间管理

数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能,可以分层监控与分析,从实例深入到数据库,再从数据库深入到表,帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...

逻辑

等于1 等于1时,仅存在分表的单个数据库会抽取成逻辑库。使用场景 如下为典型的逻辑库场景:单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库...

删除数据库

操作步骤 说明 删除数据库后,系统将自动回收数据库使用空间。您可以通过 监控与告警 查看磁盘使用量,查看方法请参见 查看增强监控。访问 RDS实例列表,在上方选择地域,然后单击目标实例ID。在左侧导航栏单击 数据库管理。找到要删除的...

授权数据库审计访问云资源

应用场景 数据库审计功能需要访问 日志服务SLS、专有网络VPC 云服务或安全组的资源时,阿里云会自动创建数据库审计服务关联角色 AliyunServiceRoleForDbaudit,授权数据库审计服务访问其他关联的云服务。开通访问云资源的授权 操作步骤 ...

空间管理

自治服务的空间管理功能提供分层的监控与分析,从实例深入到数据库,再从数据库深入到表,帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等,帮助您从各个维度了解...

捷顺

本文介绍数据库自治服务DAS助力...客户感言“阿里云DAS服务帮助捷顺科技对数十个数据库实例进行异常监测、自动限流、自动优化、自动弹性扩缩容,大幅降低了数据库运维成本和故障时间,大幅提高了系统的可用性。——捷顺科技总工&运维负责人。

从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...

如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...

TOP Objects

表 1.TOP Objects总览参数说明 参数 说明 DB过滤 选择想要查看的数据库,支持多选,可以同时查看多个数据库自动刷新的时间间隔 如果打开自动刷新,页面自动刷新的时间间隔有四个值可选,分别是5、10、30和60秒。用户TOP Objects对象性能...

备份和恢复数据

独享虚拟主机上的网站受到DDoS攻击时,在云虚拟主机控制台上仅支持手动备份或者自动备份数据库数据,不支持手动备份或者自动备份网站数据。所有数据的手动备份和已经提取的自动备份的数量总和上限为6个(这里指数据库数据备份和网站数据...

服务关联角色

数据库(Graph Database)使用服务关联角色获取其他云服务或云资源的访问权限。通常情况下,服务关联角色是在您执行某项操作时,由系统自动创建。在自动创建服务关联角色失败或 图数据库 不支持自动创建时,您需要手动创建服务关联角色。...

配置备份计划

数据库所在位置 待备份数据库实例的所在位置,支持类型如下:RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 DBS 云数据库 Redis 版 云数据库 RDS 云数据库 MongoDB 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用