应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

ECS实例说明

大数据型 使用本地SATA盘作存储数据,存储性价比高,是大数据量(TB级别的数据量)场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点;Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...

数据迁移与同步FAQ

DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么是数据迁移、数据同步?数据迁移:将Redis数据库中的数据(即键值对)迁移至另一个Redis数据库中。通常迁移完成后即可...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

RDS SQL Server I/O高问题

结合Page性能、Log性能可以发现,8点到22点期间的I/O吞吐部分是数据页的读取,约80~100 MB/sec,其次是数据页的写入,约30 MB/sec,最后是日志文件的写入,约5 MB/sec。结合备份吞吐量可以发现,22点到0点的I/O吞吐高峰完全是备份造成的...

基于MaxCompute进行大数据BI分析

背景信息 MaxCompute:用于进行规模数据计算,详情请参见 什么是MaxCompute。RDS MySQL:用于进行海量数据实时高并发在线分析,详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks:可实现ETL功能,对复杂数据集进行采集、加工及...

文档修订记录

Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南,为您介绍数据安全治理的常见思路、DataWorks产品的安全能力,以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...

常见问题FAQ

基本问题 Q:云数据库专属集群MyBase 是什么意思?它和RDS数据库的区别是什么?A:云数据库专属集群MyBase 是由多台主机(底层服务器,如ECS I2服务器、神龙服务器)组成的集群,详情请参见 常见术语。相比直接使用RDS 或Redis 实例,专属...

实时同步常见问题

写端延迟 目标数据库性能、负载等问题 当数据库负载较高时,单一的调整同步任务并发并不能解决问题,您需要联系数据库管理员寻求相关帮助。读写端延迟 使用公网同步,网络问题导致同步任务延迟。公网同步无法保障实时同步时效性,建议...

I/O瓶颈

\watch 1 如果是checkpoint进程I/O高,说明写入数据量太。如果是bgwriter进程I/O高,说明存储写入太慢。如果是vacuum进程,可以进一步通过观察 pg_stat_progress_vacuum 查看清理表的进度。SELECT*FROM pg_stat_progress_vacuum;可以通过...

SmartData常见问题

JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统,主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问,您可以直接使用JindoFS SDK;标准功能针对OSS提供分布...

创建Aliyun HBase数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 服务类型 根据数据源HBase选择...

创建ClickHouse数据

通过创建ClickHouse数据源能够实现Dataphin读取ClickHouse的业务数据或向ClickHouse写入数据。本文为您介绍如何创建ClickHouse数据源。背景信息 如果您使用的是数据库ClickHouse,引入ClickHouse的业务数据至Dataphin中或将Dataphin数据...

RDS PostgreSQL同步至PolarDB PostgreSQL版

本文介绍如何使用数据传输服务DTS(Data Transmission Service),实现 RDS PostgreSQL 同步至 PolarDB PostgreSQL版。前提条件 已创建存储空间大于源 RDS PostgreSQL 实例占用存储空间的目标 PolarDB PostgreSQL版 集群。创建方法,请参见...

索引优化

大数据集场景下优先考虑稀疏索引:如果您的数据量非常地大,并且您的查询限定条件为<、、=、>=、>,需要从大数据量的表中取出少于50%的数据,那么使用稀疏索引(BRIN Index或者AOCS表的metascan)可以极地减少无效数据的加载。...

PolarDB PostgreSQL版(兼容Oracle)间迁移

由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...

自建PostgreSQL迁移至PolarDB PostgreSQL版

由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标库的表存储空间会比源库的表存储空间。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...

自建Oracle间迁移

前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启ARCHIVELOG(归档模式),设置合理的归档日志保持周期且归档日志能够被访问,详情请参见 ARCHIVELOG。自建Oracle数据库已开启Supplemental ...

X-Engine简介

因为目标是面向规模的海量数据存储,提供高并发事务处理能力和降低存储成本,在部分大数据量场景下,数据被访问的机会是不均等的,访问频繁的热数据实际上占比很少,X-Engine根据数据访问频度的不同将数据划分为多个层次,针对每个层次...

RDS术语

DMS Data Management,数据管理,是一种阿里云提供的图形化的数据管理工具,集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...

RDS术语

A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品,这些云数据库服务采用统一的数据库内核(简称AliPG),AliPG兼容PostgreSQL开源数据库,于2015年正式商用,支持PostgreSQL主流版本,已稳定运行多年,支撑了大量阿里巴巴集团...

RDS术语

DMS Data Management,数据管理,是一种阿里云提供的图形化的数据管理工具,集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...

RDS术语

DMS Data Management,数据管理,是一种阿里云提供的图形化的数据管理工具,集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...

RDS术语

AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品,这些云数据库服务采用统一的数据库内核(简称AliPG),AliPG兼容PostgreSQL开源数据库,于2015年正式商用,支持PostgreSQL主流版本,已稳定运行多年,支撑了大量阿里巴巴集团...

常见问题

支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...

什么是PolarDB MySQL企业版

高速链路互联 数据库的计算节点和存储节点之间采用高速网络互联,并通过RDMA协议进行数据传输,使I/O性能不再成为瓶颈。共享分布式存储 多个计算节点共享一份数据,而不是每个计算节点都存储一份数据,极地降低了用户的存储成本。基于...

数据源权限管理

本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限?是否支持再次分享已被分享的数据源?数据源的创建者是否有权控制该数据源?什么是私有模式的数据源?哪些用户能够收回数据源的分享权限?如何检查数据源分享关系的...

基本概念

DTS 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库(RDBMS)、非关系型数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,帮助您构建安全、可扩展、高可用的...

概述

什么数据库代理:数据库独享代理服务是使用独立代理计算资源为当前实例提供代理服务,提供更多高级功能,例如读写分离、短连接优化、事务拆分等。自治服务DAS:针对SQL语句性能、CPU使用率、IOPS使用率、内存使用率、磁盘空间使用率、...

通过HTTP API写入数据

有很多方法可以向TSDB For InfluxDB®写入数据,包括通过命令行界面(command line interface)和客户端(client libraries)。在这一章中,我们将向您展示如何使用内嵌的HTTP API写入数据。说明 本章节中的示例使用了curl,一种通过URL来...

PolarDB PostgreSQL版(兼容Oracle)间的迁移

通过数据传输服务DTS(Data Transmission Service),可以实现 PolarDB PostgreSQL版(兼容Oracle)集群间的迁移。背景信息 PolarDB PostgreSQL版(兼容Oracle)作为一款企业级关系型数据库管理系统,具有广泛的应用和强大的社区支持。每个...

DQL操作常见问题

对表A执行GROUP BY生成表B,表B比表A的行数少,但表B的物理存储量是表A的10倍,是什么原因造成的?使用GROUP BY分组查询100亿条数据会不会影响性能?GROUP BY对数据量有没有限制?ORDER BY MaxCompute查询得到的数据是根据什么排序的?...

FAQ

本页面讨论了经常容易混淆的内容,以及跟其它数据库系统相比TSDB For InfluxDB®以意想不到的方式运行的地方。管理(Administration)如何识别TSDB For InfluxDB®的版本?shard group duration和保留策略之间的关系是什么?当更改保留策略...

RDS PostgreSQL间的单向同步

本文介绍如何使用数据传输服务DTS(Data Transmission Service),实现 RDS PostgreSQL 间的单向同步。前提条件 已创建源库和目标数据库 RDS PostgreSQL 实例,创建方式,请参见 创建RDS PostgreSQL实例。说明 建议源库和目标数据库的版本...

常见问题

A:PolarDB 是一个关系型数据库云服务,目前已在全球十多个地域(Region)的数据中心部署,向用户提供开箱即用的在线数据库服务。PolarDB 目前支持3种独立的引擎,分别可以100%兼容MySQL、100%兼容PostgreSQL、高度兼容Oracle语法,存储...

恢复全量数据

如果您拥有原实例的数据备份和日志备份,可以将其恢复到新实例中,可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件:实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...

设置透明数据加密TDE

TDE可对数据文件执行实时I/O加密和解密,数据在写入磁盘之前进行加密,从磁盘读入内存时进行解密。TDE不会增加数据文件的大小,开发人员无需更改任何应用程序,即可使用TDE功能。前提条件 集群版本为 PolarDB PostgreSQL版。已开通KMS。...

设置透明数据加密TDE

TDE可对数据文件执行实时I/O加密和解密,数据在写入磁盘之前进行加密,从磁盘读入内存时进行解密。TDE不会增加数据文件的大小,开发人员无需更改任何应用程序,即可使用TDE功能。前提条件 集群版本为 PolarDB PostgreSQL版(兼容Oracle)。...

PolarDB PostgreSQL版间的迁移

通过数据传输服务DTS(Data Transmission Service),可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群,详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用