如何确定分区个数
假设每个租户最大数据量为100万，则建议多个租户共用一个LIST分区，如10个租户共用一个LIST分区。多尝试几个分区值。如果取整数不能满足数据分布均衡要求，您可以尝试取质数。如7和13等。说明 对于业务上有连接需求的表，创建分区表时可以...
跨境SaaS:深圳市易仓科技有限公司
存在资源碎片，资源利用率低 痛点5:业务快速发展，租户数据越来越大，存储成本越来越高 痛点6:传统主从架构数据库模式，实例众多，数据集成成本高 痛点7:租户数据量越来越大，单租户维度查询性能遇瓶颈 解决方案 PolarDB多主集群助力易仓跨...
分区表常见问题
如：大租户的数据量多，但大租户少；中小租户多但数据量少；或者随时会新增小租户，无法在建表时全部枚举出来。在这种场景下，您可以在一张分区表中同时使用两种分区：大租户单独使用LIST分区，或多个大租户组合使用一个LIST分区。分区个数...
PolarDB Serverless实现了哪些突破
整个IDC形成一个多租户的大数据库，其全部的CPU、内存和存储构成三个独立的资源池。在资源池未耗尽的情况下，任何一个用户（租户）都可以任意的弹性扩展任何一种资源到任何一个规格，用户为其SQL动态消耗的CPU、内存和存储买单，不需要预置...
何时选择LIST DEFAULT HASH分区
例如，对于多租户的业务系统，每个租户产生的用户数据量不均衡，您可以把大数据量的租户按照LIST规则分区，然后中小数据量的租户按照HASH规则分成多个分区，如下：租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万 ...
产品规格
配置 计算实例配置 存储配置 地域 系列 最低数据库版本 最大租户数量 节点规格 vCPU 内存（GB）存储类型 最小存储空间（GB）最小日志盘（GB）中国内地 标准版（云盘）V4.x 2 4 核 16GB 4 16 ESSD PL1 50 50 V3.x 4 8 核 32GB 8 32 ESSD PL1...
租户属性
此外，如果第三方引擎需要读取MaxCompute数据，您可以开启租户级的开放存储（Storage API）功能。注意事项 租户级Schema开启后不能关闭，请谨慎开启。仅未创建过项目的租户支持开启租户级Schema功能。说明 若已创建过项目的租户需要开启...
租户级别Information Schema
使用限制 租户级别Information Schema使用限制如下：该功能已经全面开放，但在2023年08月01日前开通MaxCompute，后续未使用MaxCompute，目前又开始使用的租户可能没有数据，如果需要使用此功能，可以通过提交 新功能试用申请 进行升级。...
OSS对象检查节点
例如，同步OSS数据至DataWorks，需先检测出已经产生OSS数据文件，才可执行OSS同步任务。本文为您介绍如何使用OSS对象检查节点。运行机制 OSS对象检查节点在执行期间若检测到目标文件存在，则当前任务会成功退出；若到了超时时间仍未检测到...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
ListProjects
调用ListProjects，分页列出用户所在租户下的DataWorks工作空间列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
GetOpSensitiveData
调用GetOpSensitiveData，获取租户下所有DataWorks工作空间指定日期的敏感数据访问记录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
用户管理
角色 包括租户管理员、租户访客、租户数据资产管理员、租户运维人员和租户一般用户。租户管理员：租户的管理者，拥有本租户内的所有权限。租户一般用户：注册、管理应用，通过应用的AK调用数据服务。租户数据资产管理员：管理租户内各类...
用户管理
角色 包括租户管理员、租户访客、租户数据资产管理员、租户运维人员和租户一般用户。租户管理员：租户的管理者，拥有本租户内的所有权限。租户一般用户：注册、管理应用，通过应用的AK调用数据服务。租户数据资产管理员：管理租户内各类...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
权限列表
全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X）表示不支持。在 数据权限 页签下，查看全员成员角色和工作组成员角对应的数据权限。
权限列表
全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X）表示不支持。在 数据权限 页签下，查看全员成员角色和工作组成员角对应的数据权限。
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
其他问题
租户支持的角色：包括租户管理员、租户访客、租户数据资产管理员、租户运维人员和租户一般用户。所有的角色权限，请查看产品页面右上角 账号>系统设置>权限列表。新建云计算资源怎么获取白名单IP?1.单击产品页面右上角 账号>系统设置>工作...
性能与 SQL 监控详情
监控指标项 监控指标名 指标说明 QPS sql_all_count sql_delete_count sql_insert_count sql_other_count sql_replace_count sql_select_count sql_update_count 租户数据库每秒处理的不同 SQL 语句数量，单位：times/s。响应时间 sql_all_...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
系统设置
租户支持的角色：包括租户管理员、租户访客、租户数据资产管理员、租户运维人员和租户一般用户。所有的角色权限，请查看产品页面右上角 账号>系统设置>权限列表。新建云计算资源怎么获取白名单IP?1.单击产品页面右上角 账号>系统设置>工作...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
数据源权限管理
租户数据源的Operator机制完善，Owner信息不完善。Owner可能被移除，降为开发角色等低权限角色。为保障数据源的安全，仅允许具备相应权限的角色控制数据源。什么是私有模式的数据源？如果一个数据源仅被分享给自己，该数据源为私有模式，仅...
数据恢复
OceanBase 管理控制台提供高可用、高性能的恢复功能，支持将租户数据恢复到提供的可恢复时间区间内。恢复内容 OceanBase 恢复任务目前支持将租户或者表数据恢复到已备份的时间点。数据恢复 在集群实例的 备份恢复 页面单击 数据恢复，可...
概述
用户管理 支持对人员账号相应的租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户角色进行添加、管理。权限列表 支持对系统设置、数据同步、数据标准、数据建模、智能标签、统一服务、通用资源、质量评估、任务运维、...
概述
用户管理 支持对人员账号相应的租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户角色进行添加、管理。权限列表 支持对系统设置、数据同步、数据标准、数据建模、智能标签、统一服务、通用资源、质量评估、任务运维、...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
- 产品推荐
- 这些文档可能帮助您