RDS MySQL迁移至Tair/Redis

数据传输服务DTS(Data Transmission Service)支持将MySQL数据库(例如自建MySQL或RDS MySQL)迁移至 云原生内存数据库Tair 或 云数据库Redis,降低后端关系型数据库的负载,从而提升用户体验。本文以 RDS MySQL 实例为源,云数据库Redis ...

从自建Redis迁移至阿里云Redis

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建Redis迁移至阿里云Redis实例。DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建Redis数据库的迁移...

从ECS上的自建Redis同步至Tair实例

数据传输服务DTS(Data Transmission Service)支持从ECS上的自建Redis同步至 云原生内存数据库Tair。警告 完成数据同步作业的配置后,请勿变更源数据库或目标数据库的架构类型,否则会导致数据同步失败。前提条件 已创建源自建Redis实例和...

授权和回收数据板块权限

本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 数据板块授权 对话框。在 数据板块授权 对话框,配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...

授权和回收数据板块权限

本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 数据板块授权 对话框。在 数据板块授权 对话框,配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

授权与回收数据源权限

本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建,请参见 数据源管理。授权数据源权限 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 数据源授权 对话框。根据数据源授权...

Flink数据导入

若Flink接收到的数据达到 sink.buffer-flush.max-rows 所设的值,但间隔时间已达到 sink.buffer-flush.interval 所设的值,那么无论Flink接收了多少数据量,都直接触发批量写入数据至 AnalyticDB MySQL版。sink.buffer-flush.interval ...

确认表血缘

基于表血缘配置节点依赖的影响 场景一:存在强血缘依赖但设置节点依赖,导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据,但将产出A表数据的节点 Job_A 作为当前节点依赖的上游,则可能会出现A表数据未产出,当前...

API概览

本产品(数据湖构建/2020-07-10)的OpenAPI采用 ROA 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,可...

查询备份数据

RDS MySQL实例支持历史备份数据查询功能,本文介绍在DMS控制台查询历史备份数据的操作步骤。使用场景 数据被误删除或者更改,需要通过查询历史数据来找回业务数据。实例负载较大,需要一个可以按量并且供查询的临时实例,用于临时的查询和...

查询备份数据

本文介绍在DMS控制台查询RDS MySQL备份数据的操作步骤。前提条件 RDS实例需满足以下条件:MySQL数据库版本:8.0(包含Serverless实例)、5.7 存储类型:云盘版 说明 您可以前往实例基本信息页面查看以上信息。实例规格为 通用规格。实例...

查询结果不符合预期的常见原因

Lindorm宽表经常会被应用在大数据链路中,如果写入链路出现问题,则可能导致写入延迟或无法正常写入数据,此时进行数据查询,该行数据写入,因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况,...

使用DataWorks

MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时,您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...

FTP Check节点

如果检测该标记文件不存在,则表示外部数据库中的数据未准备就绪,不能被访问,FTP Check节点会将检测失败并且不会调度下游节点的结果反馈至下游节点,并根据配置的检测策略继续检测,直到达到预设的检测上限后停止检测。FTP Check节点的...

常见问题

Q:如果在一行数据写入自定义时间列,那么这一行数据还会冷热分离吗?A:不会。自定义时间列是系统对数据冷热分离存储的依据。如果一行数据未写入时间,那么这行数据会被保留在热存储区。Q:对于按时间戳冷热分离,冷数据更新后还是冷...

数据未正常产出或任务运行如何处理

问题现象 在数据地图查看数据时,发现当天数据未正常产出,或者在运维中心的周期实例发现任务节点状态为灰色的运行状态,如下图所示。可能原因 运行节点的上游节点成功运行,上游节点实例可能被冻结,或还在等待运行。上游节点成功...

一键MaxCompute任务出错恢复

强制重跑执行完成后,如果次日数据未产出或者Merge任务没有恢复自动运行时,您需要手动确认并恢复该Merge实例的运行:实时任务如果有延迟,解决延迟问题。详情请参见 实时同步任务延迟解决方案。如果上一周期的实例运行或者运行失败,您...

Check节点

策略二:检查目标分区在指定时长是否有更新 若Check节点检查到MaxCompute分区表的目标分区在指定时长内更新,则表示该分区的数据已产出完成,平台即认为MaxCompute分区表数据已可用。FTP文件或OSS文件 若Check节点检查到目标FTP文件或OSS...

一键实时同步至MaxCompute

数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载(同步数据通道SLA详情请参见 数据传输服务(上传)场景与工具),请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute,按实例模式同步时...

一键实时同步至MaxCompute

数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载(同步数据通道SLA详情请参见 数据传输服务(上传)场景与工具),请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute,按实例模式同步时...

AnalyticDB MySQL 2.0数据导入

数据迁移 方式一:使用 AnalyticDB MySQL 2.0的工具迁移数据 重要 如果 AnalyticDB MySQL 2.0中使用了多值列类型,多值列的数据未在MaxCompute中,那么这些多值列的数据无法迁移。如果业务存在实时写入流量,则需要在同步数据之前启动业务...

任务运行诊断

上游任务对当前任务执行的影响如下:上游任务是否为成功状态,决定当前任务是否执行 节点依赖关系设置后,默认当前任务与当前任务依赖的上游存在数据依赖(即上游任务执行,将导致当前节点依赖的上游数据未产出,当前节点执行会产生数据...

全增量同步任务运维

强制重跑执行完成后,如果次日数据未产出或者Merge任务没有恢复自动运行,您需要手动确认并恢复该Merge实例的运行:实时任务如果有延迟,解决延迟问题。详情请参见 实时同步任务延迟解决方案。如果上一周期的实例运行或者运行失败,您...

实时同步常见问题

当您在查询实时同步任务产出的表数据,发现数据未同步时,原因可能是实时同步任务出现延迟,您可以进入运维中心的 实时同步任务 界面,查看任务的 业务延迟 数值是否过大。详情请参见 实时同步任务延迟解决方案。若业务延迟较大,其可能...

常见报错

如果检查失败,说明源数据库的binlog记录全镜像,请参考如下步骤修复。登录自建的MySQL源数据库所在服务器。参考如下配置修改MySQL的配置文件 my.cnf,将 binlog_row_image 参数值修改为 full。log_bin=mysql_bin binlog_format=row/...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

服务条款

3.2.5 如 阿里云发现您利用云数据库Memcache版服务进行非法业务或对阿里云网站及服务进行攻击,或发生其他违法、违规和违反本服务条款的行为,阿里云将保留在通知您即暂停或终止您的 云数据库Memcache版 服务的权利,而无须承担任何义务...

服务等级说明

服务等级说明 数据总线服务等级协议 本服务等级协议(Service Level Agreement,以下简称“SLA”)规定了阿里云向客户提供的数据总线(简称“数据总线”)的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...

CDT服务条款

您应当确保:(1)用户业务数据处理(包括但不限于:获取、使用、处理与传输等,以下合称“处理”)的合法性,以及(2)在处理用户业务数据时已取得合法、有效、充分且必要的授权,侵犯任何第三方的合法权益。您应当对用户业务数据以及您...

产品服务协议

您应当确保:(1)用户业务数据处理(包括但不限于:获取、使用、处理与传输等,以下合称“处理”)的合法性,以及(2)在处理用户业务数据时已取得合法、有效、充分且必要的授权,侵犯任何第三方的合法权益。您应当对用户业务数据以及您...

云数据库 Memcache 版经典案例

具体方法:可以先将黑名单存入云数据库 Memcache 版,不在黑名单中的用户登录网站时,访问云数据库 Memcache 版命中后会查询数据库中黑名单信息,此时查询结果也为空。随后将这个用户信息存为云数据库 Memcache 版的白名单用户,从而避免...

开通数据订阅

数据订阅功能可以帮助您获取Lindorm的实时增量数据,及时掌握数据的变化情况。您可以在Lindorm管理控制台开通数据订阅功能,并根据自身业务需求消费增量数据,搭建多种业务场景。本文介绍在控制台开通数据订阅功能的方法。前提条件 已开通...

数据使用诊断

DataWorks的数据使用诊断,为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力,以及诊断相关安全问题的最佳实践及解决方案,帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...

【通知】控制台全新升级

为了提供更好的数据安全服务使用体验,从2022年07月29日起,阿里云数据安全中心控制台全新升级,基于感知、治理到防护的业务逻辑,助力企业建立标准化数据安全管理流程、提升数据安全治理效率。本文介绍本次控制台升级主要的功能变更和如何...

垃圾回收机制

PolarDB PostgreSQL版(兼容Oracle)通过多版本来实现MVCC机制,当执行UPDATE和DELETE操作时会产生一个新的数据行版本,老的数据行版本会变成无效版本,这些无效版本数据会占用数据块的空间,需要及时进行清理,否则会导致数据的膨胀。...

输入节点

当选择*(任意结构)时,代表数据结构为任意结构,适用于创建数据模型的场景。说明 模型名称支持复制,将鼠标移动至已选择模型时,单击 图标,即可复制模型名称。开发配置 开发计算资源 开发场景中的计算资源,用于在开发环境中运行该...

输入节点

当选择*(任意结构)时,代表数据结构为任意结构,适用于创建数据模型的场景。说明 模型名称支持复制,将鼠标移动至已选择模型时,单击 图标,即可复制模型名称。开发配置 开发计算资源 开发场景中的计算资源,用于在开发环境中运行该...

创建数据库账号

单击>,将数据库添加到 已授权数据库 栏中。您可以设置该账号对各个数据库的权限,可设置为 读写(DML)、只读 或 所有者。说明 拥有 所有者 权限的账号才可以在对应数据库内进行创建、删除表以及修改表结构操作。密码 设置账号密码。要求...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用