Map模型

基于MapJobProcessor,调用Map方法,即可实现大数据分布式跑批的能力。注意事项 SchedulerX不保证子任务一定执行一次,在特殊条件下会failover,可能会导致子任务重复执行,需要业务方自己实现幂等。SchedulerX使用的是Hessian序列化框架,...

创建集群

Spark:是通用的分布式大数据处理引擎,提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后,如果您需要关联集群,则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如,EMR-5.x-ack版本的Spark集群...

四川农信

PaaS 层建设,构建分布式系统上下游生态,实现分布式云原生架构体系 实现分布式云原生架构体系,需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新:建立一个面向分布式架构的开发平台和运行平台,结合分布式数据库、...

典型客户案例

PaaS 层建设,构建分布式系统上下游生态,实现分布式云原生架构体系 实现分布式云原生架构体系,需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新:需要一个面向分布式架构的开发平台和运行平台,结合分布式数据库、...

应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

概述

数据同步服务的内核在阿里巴巴跨域长途实时同步、实时增量分发、分布式数据库、大数据等场景中提供着功能丰富和服务稳定的数据方案,支持着阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单等双十一媒体大屏等众多业务场景。

HDFS概述

HDFS适用于规模数据分布式读写,特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下:具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面,方便管理。拥有类似于Linux的文件权限管理。Locality感知,...

功能特性

数据访问代理兼容 MySQL 协议和语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后,只需...

什么是云数据库HBase

代表场景 类型 存储对象 引擎接口 优势 社交分发或聊天信息等 KV Key和Value HBase API 延迟低、并发高 传统关系型数据库升级 SQL 关系模型 SQL(参见Lindorm产品)存储量分布式SQL数据库 风控或画像 表格存储 稀疏Table HBase API ...

本地运行

本地运行和分布式环境运行差异 在本地运行的过程中,仍然会启动多个Map及Reduce进程处理数据,但这些进程不是并发运行,而是依次串行运行。此外,这个本地模拟运行过程与真正的分布式运行有如下差别:输入表行数限制:目前最多只支持下载...

什么是全局事务服务GTS

可以与RDS、MySQL、PostgreSQL等数据源,Spring Cloud、Dubbo、HSF及其他RPC框架,MQ消息队列等中间件产品配合使用,轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...

优化建议

选择拆分字段时需要综合考虑查询性能、分布式事务、热点、数据迁移等多个因素;掌握SQL的执行计划,尤其是核心SQL。对于不确定的SQL应在分布式数据库执行‘explain sql’命令,确定SQL有没有跨分区、有没有改写以及底层有没有合适的索引,...

Trino概述

应用场景 Trino是定位在数据仓库和数据分析业务的分布式SQL引擎,适合以下应用场景:ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Trino是一个数仓类产品,因为其对事务支持有限,所以不适合在线业务...

DeleteDrdsDB

该接口只是提交了删除数据库的任务,接入方需要依据DescribeDrds接口(查询数据库信息的接口)的返回结果来判断分布式数据库是否删除成功。请求参数 参数名 类型 是否必须 描述 Action String 是 系统规定参数,取值:DeleteDrdsDB。DbName...

基础术语

术语 说明 应用 泛指用于组成业务系统的应用,可以为单体应用也可以为基于分布式框架构成的微服务应用。应用拓扑 拓扑是对应用间调用关系和依赖关系的可视化展示。SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件,通过统一的 ...

SQL概述

阿里云分布式数据库 PolarDB-X 是一款分布式关系数据库,高度兼容MySQL语法,但由于分布式数据库和单机数据库架构的差异,又有着自身的语法特点。PolarDB-X 支持下列五种SQL语法。数据定义语言DDL(Data Definition Language):对数据库中...

购买数据访问代理实例

数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件,用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前,您需要购买一个数据访问代理实例。操作...

云原生分布式数据库PolarDB-X 1.0和2.0区别

概述 本文主要介绍云原生分布式数据库PolarDB-X 1.0和2.0的区别。详细信息 PolarDB-X提供1.0中间件形态,以及2.0一体化形态,具体区别如下:PolarDB-X 1.0中间件形态由计算层PolarDB-X实例与存储层私有定制RDS实例组成,通过挂载多个MySQL...

顺德农商

解决方案 通过引入阿里“飞天”云计算操作系统、分布式中间件体系 SOFAStack、分布式数据库平台 OceanBase、金融核心套件 bPaaS、mPaaS、金融数据智能平台、移动开发平台等,逐渐打造了覆盖底层 IDC 到上层移动应用在内的金融级全分布式...

云原生分布式数据库 PolarDB-X系统权限策略参考

本文描述云原生分布式数据库 PolarDB-X支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...

DescribeDrdsDB

DbName String 是 分布式数据库的名称。DrdsInstanceId String 是 PolarDB-X实例ID。返回值 参数名 类型 描述 DbName String 数据库名称。Status String 0-建库中 1-正常 2-建库失败 3-删除中 4-删除失败 5-迁移中 6-迁移失败 CreateTime ...

可用性与可靠性

主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库,对于所有的分布式系统来说,在通过分布式来增强性能的同时,也带来了节点故障率增高的问题,通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...

管理报警规则

说明 在 关联资源 区域,选择 产品 为 云原生分布式数据库PolarDB-X 1.0。关于其它参数的设置,详情请参见 创建报警规则。单击 确认 即可。报警规则管理 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页,...

PolarDB分布式版逻辑备份

数据库备份DBS可满足 PolarDB分布式版 实例异地备份、长期归档、分布式备份等需求。前提条件 数据库为PolarDB-X 1.0,存储类型为RDS MySQL,MySQL版本为MySQL 5.x。功能概述 功能 说明 备份SQL文件 采用逻辑备份技术,备份成JSON文件。备份...

行业趋势与背景

在这种需求下,规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库,融合分布式SQL引擎DRDS与分布式自研存储X-DB,基于云原生一体化...

人保健康

借助蚂蚁集团的金融级分布式架构 SOFAStack、金融级分布式数据库 OceanBase、金融级 PaaS 平台等能力,人保健康构建起对标行业水平的新一代互联网保险云核心业务系统。客户价值 人保健康新一代互联网保险云核心业务系统支持业务高并发需求...

概述

全局一致性 PolarDB-X 是一款分布式数据库,数据存放在多个数据节点(DN)上,当分布式事务存在的情况下,恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例:PolarDB-X 中存放了一张用户的账户...

PolarDB

PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库。阿里云自研Ganos时空引擎提供一系列的数据类型、函数和存储过程,用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询和分析计算。DLA Ganos...

基本原理

分布式数据库中,如果一个事务同时修改多个分库的数据,无法简单保证所有分库一定都能提交成功。如果在事务提交过程中出错,会出现一些分库提交成功、另一些分库失败回滚,产生数据不一致。因而无法保证事务的原子性。而 PolarDB-X 1.0 ...

计费项

重要 若源数据库为分布式实例(PolarDB分布式版、DMS LogicDB、MongoDB),则DTS同步和数据校验功能的价格还与分布式数据库节点数量有关。实例 计费项 计费规则 数据迁移实例 链路配置费用 数据迁移实例仅支持按量付费,计费规则如下:仅在...

名词解释

术语 说明 cassandra 云数据库Cassandra版是在线可靠的NoSQL分布式数据库服务,支持类SQL语法CQL,支持多地多活,提供了安全、容灾、监控、备份恢复等企业级能力。CQL CQL(Cassandra Query Language)是cassandra中提供的一种类SQL查询...

概述

随着云原生技术在业界持续升温,越来越多的金融客户希望将能将云搭建在拥有云原生能力的平台之上,利用各类云原生的红利迅速实现技术转型,...可以配合 SOFAStack 各中间件产品、OceanBase 分布式数据库,形成单元化异地多活架构解决方案。

算子

Aggregation AnalyticDB MySQL版 是一个分布式数据库,支持多节点并行完成聚合操作(更多关于聚合和分组聚合的信息,请参见 分组聚合查询优化)。Aggregation算子通过 sum()、count()、avg()等函数对数据进行聚合或分组聚合操作。...

什么是数据传输服务DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建...

创建PolarDB-X数据

背景信息 PolarDB-X(原DRDS升级版)是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X,在对接Dataphin进行数据开发时,您需要先完成PolarDB-X数据源的创建。更多PolarDB-X信息,请参见 什么是云原生分布式数据库...

简介

系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...

背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的云原生分布式数据库,融合分布式 SQL 引擎和分布式自研存储 X-DB,基于云原生一体化架构设计。PolarDB-X 1.0 可以支撑千万级并发规模,以及百 PB 级海量存储。详情请参见 产品概述。PolarDB-...

DataWorks模块使用说明

使用流程概览:参考文档:DataWorks数据建模 子模块:数据开发(DataStudio)功能说明:数据开发(DataStudio)是一站式大数据开发平台,支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...

连接方式概述

OceanBase Connector/C 允许 C/C++ 程序以一种较为底层的方式访问 OceanBase 分布式数据库集群,以进行数据库连接、数据访问、错误处理和 Prepared Statement 处理等操作。OceanBase Connector/C 也称为 LibOBClient,用于应用程序作为独立...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台
新人特惠 爆款特惠 最新活动 免费试用