备份大小

备份大小说明 存储空间使用量的关系 数据备份和日志备份存放在备份空间,都不占用存储空间。日志分为本地日志和日志备份。日志 说明 费用 作用 本地日志 实例的原始日志,存放于实例的存储空间。不涉及费用,但占用实例存储空间。例如,...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集存储、数据分析处理、数据提取和数据展现分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

功能更新动态(2023年)

创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦(DM)数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...

文档更新动态(2023年)

更新说明 创建Flink SQL任务 新建元表 新建镜像表 新增支持创建补数据任务 新增支持创建补数据任务:支持配置补数据任务,可设置定时补数据或手动触发补数据,以回刷节点范围和业务日期相对规律,确定补数据的场景,减少人工投入。补数据...

简介

系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

大数据AI公共数据集分析

本教程通过DataWorks,联合云原生大数据计算服务MaxCompute,使用大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行大数据分析,快速熟悉DataWorks的操作界面最基础的数据分析能力。DataWorks的更...

什么是备份数据

本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量,是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下,含有常见以下几个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...

分区表常见问题

如果租户ID有一定规律,如按照100、200和500这样的分区数来拆分数据量,数据量在各个分区分布不均衡,则可以尝试使用一些质数作为分区数。如果有10亿的数据量,则建议创建100至200个分区,单个分区的数据量平均大约为500万至5000万。HASH...

支持的数据

本文介绍Lindorm关系型数据库、NoSQL数据库、数据生态之间的数据导入导出能力。其中部分能力由LTS(Lindorm自研的数据通道服务)支持,部分能力由DataWorks或DTS支持。数据导入 源集群 目标集群 全量导入 增量导入 关系数据库 MySQL ...

数据分析整体趋势

大数据与数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

MySQL分库分表同步至Hologres(方案2.0)

步骤四:目标表映射 在上一步骤选择完需要同步的表后,将自动在此界面展示当前待同步的表,但目标表的相关属性默认为待映射状态,需要您定义并确认源表目标表映射关系,即数据的读取写入关系,然后单击 刷新映射 后才可进入下一步操作...

发展历程

2021年12月,IDC发布《IDC MarketScape:中国政务大数据管理平台市场厂商评估2021》报告,阿里云位居行业领导者位置,产品能力居中国第一。2021年3月,以MaxCompute为核心代表的阿里云数仓进入 Forrester Wave 2021 Q1 云数据仓库卓越表现...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。...

混合存储型(已停售)

实例性能 混合存储型实例的性能实例规格以及业务中数据被访问的概率有很关系:实例规格越高,内存数据的访问比重越高,性能就越强。理想的场景中,所有的访问都命中内存,此时实例性能Redis社区版实例基本一致;反之,在内存命中率...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。...

行业趋势背景

行业趋势 数据库系统至关重要 数据操作系统、中间件并称为系统软件的三驾马车,是企业IT系统不可或缺的组件,也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心,是所有...

区域下钻热力层(v1.x版本)

使用同样的方式可配置其他省市级的下钻区域数据数据规律为 国家>省或直辖市>地市级>区县级,即上一级必须包含下一级的区域数据(adcode和位置数据等)才可下钻。映射数据接口:请参见 区域热力层。交互 当区域被点击触发 选中 启用,...

数据实例运维概述

数据操作数据实例关系如下:单次立即运行补数据任务:将立即生成补数据实例并调度运行。单次定时运行补数据任务:将产生待生成实例,到达定时运行时间时将生成补数据实例并调度运行。周期性定时运行补数据任务:将在定时运行时间的 ...

区域下钻热力层(v2.x版本)

使用同样的方式可配置其他省市级的下钻区域数据数据规律为 国家>省或直辖市>地市级>区县级,即上一级必须包含下一级的区域数据(adcode和位置数据等)才可下钻。映射数据接口:参见 区域热力层数据。交互 表 1.交互说明 交互 说明 当...

T+1多库合并建仓

背景信息 在数据库应用中,当单个关系数据库RDS(Relational Database Service)的数据量越来越多时,相应的数据查询时间也会延长,影响用户体验。为保证业务可以继续使用RDS数据库,业务端通常会采用分库分表技术,将一个RDS数据库中的...

基本概念

栅格数据(Raster Data)是将地理空间分割成有规律的网格,每一个网格称为一个单元(像元或像素),并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据:专题数据和影像数据。专题数据:每个栅格像...

代码模式建模

DataWorks数据建模的设计实现解耦,在设计过程中,您无需考虑各个大数据引擎的实现方式,建模引擎会根据FML语言定义的Schema去驱动底层各个数据引擎的执行和操作,仅在实际物化(即把设计的逻辑表转换为底层引擎的物理表)阶段,建模引擎...

技术架构

另外在业界主流的分布式数据库里,分布式下的redolog/binlog等数据库变更日志其实一直被厂商所忽视,从关系数据库的发展历史来看,生态和标准对于市场规模化非常重要,PolarDB-X 支持binlog日志服务,兼容和拥抱MySQL数据库生态,用户可以...

表设计规范

数据导入通道表设计 通道类型有以下几种:DataHub 规划写入的分区写入流量之间的关系数据达到64 MB会执行1次Commit。数据集成或DataX 规划写入表分区的频率。数据达到64 MB会执行1次Commit,以免Commit空目录。DTS 规划写入的表存量...

公告

2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题,显著提升数据治理水平,Dataphin将进一步加强资产治理方向的投入,正式更名为“智能数据建设治理Dataphin”,希望能够更好的助力企业构建质量可靠、消费...

减灾应急时空解决方案案例

公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能,实现了灾害数据与模型一体化云服务。在数据与系统上云过程前,遇到了如下挑战:长期积累的时空数据类型多、数据...

分析外部OSS上的数据

典型应用场景 以一个典型数仓架构为例,通过ETL将在线数据(关系数据库或者应用服务日志)导入离线分析平台做计算分析,分析的结果(如数仓模型的数据集市层ADS)再导入关系数据库中,用于对接BI报告、监控和广告计算等应用。该架构有几个...

PostgreSQL数据

由于主备数据同步存在一定的时间差,特别在于某些特定情况,例如网络延迟等问题,导致备库同步恢复的数据与主库有较差别,从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统,对外可以...

数据模型概述

DDM目前支持逻辑模型和物理模型建模,其中物理模型又分为关系数据模型和非关系数据模型,支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层,DDM是数据建模工具,支持设置表、字段等物理属性。

使用流程

可选:应用评估改造:帮助用户分析应用与数据库的关联关系,并分析从源库迁移到目标库的应用改造点改造位置,同时,也可减少使用Java开发的部分业务的改造工作量。1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 ...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

产品概述

产品特点 稳定 对于绝部分应用而言,关系数据库所承担的职责是整个数据管理系统中最为核心和基础的,不光直接影响到终端用户的服务体验,同时也是业务数据的最后一道保险,所以稳定性是数据库最核心的选型因素。PolarDB-X 1.0 的稳定性...

面临的业务挑战

这些不同来源、不同格式的数据,各自又有不同的访问和分析方式,而大量传统企业基于关系数据库构建自己的业务系统,已经非常熟悉按SQL的方式去使用数据,这无疑增加了企业存储和使用数据的成本。分析不实时 企业运营的形式越来越多样化,...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系数据库、非结构化存储、大数据存储、消息队列等),通过定义来源去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时...

Schema约束

强约束 传统关系数据库类似,时序引擎会严格依据预先定义的表结构对写入数据的表名、字段名、数据类型进行校验。不匹配则写入失败。弱约束 写入数据的表不存在时,时序引擎不会报错,而是会自动创建对应的表。写入数据的新增一个标签...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 Redis 版 云数据库 RDS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用