应用场景

本文主要介绍高可用管理平台 HAS 的应用场景。日常风险防控 在日常的...逻辑数据中心所表达的中心思想是无论物理结构如何的分布,整个数据中心在逻辑上是协同和统一的。主要适用于大型互联网公司在线交易系统支持,比如淘宝、支付宝、携程等。

附录:SOFAStack 产品目录

数据中心异地多活 通过微服务产品可快速构建可扩展、高性能的金融级分布式核心系统,拥有弹性扩容和异地多活的能力。任务调度 任务调度(Task Scheduler,简称 TS)提供分布式任务调度框架,实现任务的分布式处理,并能规范化、自动化、...

常见问题

数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段,扫描MaxCompute、OSS、阿里云数据库服务(RDS、PolarDB-X、PolarDB、OceanBase、表格存储等)和自建数据库中的数据,通过敏感数据规则,判断和打标敏感数据,为数据安全审计、...

查看集群日报与分析

Hive库冷热数据分布Top信息会展示如下:库极冷数据分布Top 库冷数据分布Top 库温数据分布Top 库热数据分布Top 说明 冷数据是长时间不访问的数据,推荐放到冷备存储,例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况,有...

产品更新动态

2023年9月 发布时间:2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块,用户可以在数据中心连接和管理数据库,并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...

应用场景

云数据库Cassandra可以很容易添加新的数据中心,不同的数据中心可以设定不同的副本数,既可以作为跨数据中心多活高可用,也可以作备份容灾或离线分析使用。业务灵活多变 云数据库Cassandra的数据模型灵活,对表结构的变更是一个非常轻量级...

管理敏感数据

数据类型即根据数据语义对数据进行的分类。默认包含如下分类:一级分类:个人信息、企业信息、位置信息等。二级分类:手机号、邮箱、银行卡等。说明 用户可自定义新的数据分类。更多信息,请参见 管理敏感数据识别规则。敏感数据信息汇总:...

数据分布策略

AnalyticDB PostgreSQL版 支持三种数据在节点间的分布方式,分别是哈希(HASH)分布、随机(RANDOMLY)分布、复制(REPLICATED)分布。语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED ...

Bucket Shuffle Join

如果Join语句命中了表的数据分布列,则应该使用数据分布信息来减少Join语句的网络与内存开销,这就是Bucket Shuffle Join的思路来源。上图展示了Bucket Shuffle Join的工作原理。在SQL语句中,A表与B表进行了Join操作,并且Join的等值表达...

应用场景

应用程序只需配置一个连接地址,无需修改代码即可将业务平滑扩展到更多地域,从1个数据中心,扩展到2个、3个甚至更多的数据中心。上海、深圳的集群规格无需与北京保持一致,可以灵活选择。部署流程 创建一个GDN,将已有集群作为GDN中的主...

数据导入性能优化

数据分布不均匀时,导入数据较多的一级分区将成为长尾节点,影响整个导入任务的性能,因此要求导入时数据均匀分布。如何选择分布键,请参见 选择分布键。判断分布键合理性:导入前,根据导入数据所选分布键的业务意义判断是否合理。以表...

数据导入性能优化

数据分布不均匀时,导入数据较多的一级分区将成为长尾节点,影响整个导入任务的性能,因此要求导入时数据均匀分布。如何选择分布键,请参见 选择分布键。判断分布键合理性:导入前,根据导入数据所选分布键的业务意义判断是否合理。以表...

个人数据中心

个人数据中心可以帮助您快捷查看自己所负责的资产,并可以对资产执行转交负责人、申请权限操作,本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人,当前表负责人可转交自己是负责人的表。项目...

个人数据中心

个人数据中心可以帮助您快捷查看自己所负责的资产,并可以对资产执行转交负责人、申请权限操作,本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人,当前表负责人可转交自己是负责人的表。项目...

数据中心

数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...

分布定义

本文介绍 AnalyticDB PostgreSQL版 如何选择表分布策略。选择表分布策略 AnalyticDB PostgreSQL 支持哈希(HASH)分布、随机(RANDOMLY)分布、复制(REPLICATED)分布三...表t1的分布键被改为c2,该表的数据按照c2被重新分布数据不再倾斜。

流程简介

数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...

消除数据分布

AnalyticDB PostgreSQL属于MPP数据库,数据分布在各个segment节点,分布方式为hash、random和replication。许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观,...

功能简介

数据中心 数据中心包含数据管理、数据配置、API接入。数据管理:展示并管理用户添加的数据,主要功能包括数据表引入、本地数据导入。数据配置:展示并管理用户添加的计算资源。算子中心 算子中心包含算子管理、算子配置。算子管理:展示并...

上海新能源汽车车辆基础数据

客户简介 上海市新能源汽车公共数据采集与监测研究中心(以下简称“数据中心”)是2014年底由上海市社会团体管理局批准注册成立,由上海市经济和信息化委员会负责业务指导,是上海市的新能源汽车市级监管平台,其主要职责是对上海市推广的...

专题广场

个人数据中心:可查看并管理负责人是自己的资产,详情请参见 个人数据中心。③配置中心 可创建专题分组及配置数据探查。专题分组管理:帮助您对专题分组进行统一管理,提高专题的管理效率,详情请参见 新建及管理专题分组。数据探查配置:...

分布键的选择策略

选择数据分布均匀的列或者多个列 若分布数据分布不均匀,可能会导致数据倾斜。数据倾斜会导致部分计算节点存储的数据过多,查询负载大,查询耗时变长。因此请不要选择bool类型、时间日期类型的列作为分布键。选择经常需要JOIN的列作为...

添加RDS PostgreSQL数据库

数据中心 页面下方,单击 新建数据连接。选择需要添加的数据库,单击 去连接数据库。不打开VPC开关,填写数据库信息。参数 说明 数据连接名称 数据源的显示名称,可以自由命名。域名 连接数据库的地址。重要 该地址是DataV-Atlas服务器...

添加体验空间数据库

数据中心 页面下方,单击数据库列表的 体验空间。在体验空间模块,单击右上角的 上传数据,打开上传数据文件窗口。在 选择文件 页签,将文件退拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON...

分区热力图

分区热力图功能支持查看各分区的访问情况和数据分布情况,可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时,则...

添加PolarDB PostgreSQL数据库

数据中心 页面下方,单击 新建数据连接。选择需要添加的数据库,单击 去连接数据库。不打开VPC开关,填写数据库信息。参数 说明 数据连接名称 数据源的显示名称,可以自由命名。域名 连接数据库的外网地址。重要 该地址是DataV-Atlas...

SQL 路由

拆分键是数据访问代理中数据分布和 SQL 路由的凭证。SQL 路由 当用户发起执行 SQL 语句的请求时,数据访问代理会理解 SQL 语句的含义,然后按照拆分键的值和执行策略将 SQL 语句路由到对应分区进行执行,如下图所示:数据合并 如果一个 SQL...

概述

背景信息 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布数据通信以及容错机制等功能。基于流执行引擎,Flink提供了更高抽象层的API以便您编写分布式任务。Flink(VVR)完全兼容开源Flink,相关内容请...

敏感数据概况

背景信息 您可以在完成敏感数据规则配置的第二天,查看数据分布情况。说明 安全管理员可以通过在 系统配置 页面配置 权限控制模式,来指定可以查看该页面数据的成员。操作步骤 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据...

名词解释

下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念:名词 解释 MPP Massively ...数据分布 MPP架构下,表的数据按分区键存储在不同数据分区上,是全并行计算中的一个计算执行和存储单元。常见的分布方式有哈希分布,随机分布,复制分布

查看监控任务

数据质量的任务查询模块展示规则的校验结果。规则运行后,您可以在任务查询页面...数据分布 单击相应表名后的 数据分布,查看该规则每次运行的情况,以及表行数、表大小等信息。查看血缘 点击此处将快速跳转至 数据地图,查看该表的血缘信息。

PolarDB PostgreSQL版:ePQ架构详解

PolarDB PostgreSQL版 可以横向Scale Out(计算节点数量),也可以纵向Scale Up(单节点并行度),且弹性扩展即时生效,不需要重新分布数据。允许业务有更多的弹性调度策略,不同的业务域可以运行在不同的节点集合上。业务域1的SQL可以选择...

离线集成支持的数据

整库迁移 适用于将本地数据中心或在ECS上自建的数据库,同步数据至离线数仓(Hive)、大数据计算服务等场景。例如,将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...

应用场景

DBS提供秒级恢复、备份数据湖分析等能力,可触达本地数据中心、其他云厂商、专有云及公共云等环境,构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储,可将数据库低成本地接入至阿里...

应用场景

DBS提供秒级恢复、备份数据湖分析等能力,可触达本地数据中心、其他云厂商、专有云及公共云等环境,构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储,可将数据库低成本地接入至阿里...

Join优化

表S数据不移动,表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表,在建表时确保表的数据分片数量一致,相同Hash分桶在分布式系统中的分布一致,那么实际查询时就可以跳过数据的Shuffle过程,直接进行...

数据集成支持的数据

整库迁移 适用于将本地数据中心或在ECS上自建的数据库,同步数据至离线数仓(Hive)、大数据计算服务等场景。例如,将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...

使用拆分字段

如果确实找不到合适的业务逻辑主体作为拆分字段,那么可以考虑下面的方法来选择拆分字段:根据数据分布和访问的均衡度来考虑拆分字段,尽量将数据表中的数据相对均匀地分布在不同的物理分库/分表中,适用于大量分析型查询的应用场景(查询...

数据仓库研发规范概述

设计人员:根据已定稿的产品需求文档所述需求,进行数据探查,了解数据形态(数据质量、数据分布),同时根据探查结果实现表设计、Mapping设计、调度设计等细分设计工作。开发人员:根据设计人员产出的稿件,制定计划并实现代码,同时进行...

Query Profile介绍

Exchange Operator Sink 指标 说明 PartType 数据分布模式,包括UNPARTITIONED、RANDOM、HASH_PARTITIONED和BUCKET_SHUFFLE_HASH_PARTITIONED。BytesSent 发送的数据大小。OverallThroughput 吞吐速率。NetworkTime 数据包传输时间(不包括...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 阿里邮箱 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用