AutoML工作原理
AutoML实现自动化调试参数的工作原理，是通过实验、Trial、训练任务进行循环迭代，来找到最优的超参组合。AutoML的工作机制如下图。您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
启动Windows实例时，操作系统进入“Preparing ...
清除Windows分区的只读属性，假设异常系统盘盘符是D，隐藏分区的序号是1。您可以根据需要，选择其中一种方式。使用diskpart进行 清除 打开 DiskPart 窗口。您可以在搜索框中输入 diskpart 打开，也可以在搜索框输入 Windows PowerShell 并...
常见问题
云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流 是一个用来协调多个分布式...
创建混合分区
混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能...
发布者最佳实践
如果您使用的Producer客户端版本小于2.4，可以根据黏性分区策略原理，自行实现分区策略，然后通过参数 partitioner.class 设置指定的分区策略。关于黏性分区策略实现，您可以参考如下Java版代码实现。该代码的实现逻辑主要是根据一定的时间...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
分区索引
数据分区策略 HASH分区 时间范围分区 多级HASH分区（高级用法）准备工作 使用分区索引前需要创建测试表，语句如下：CREATE TABLE IF NOT EXISTS search_table(user_id bigint,storeId varchar,goodsId varchar,goodsPrice smallint,...
CREATE TABLE（AUTO模式）
Hash分区与Key分区是 原生MySQL的标准分区语法 之一，PolarDB-X 为提供灵活强大的分区管理能力（例如分裂、合并与迁移等）以及考虑支持向量分区键下热点散裂，PolarDB-X 不仅在语法上尽量兼容了MySQL的Hash分区与Key分区的建表语法...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
Bucket Shuffle Join
工作原理 SelectDB支持的常规分布式Join方式包括Shuffle Join和Broadcast Join。这两种Join都会导致相当大的网络开销。例如，当前存在A表与B表的Join查询，它的Join方式为Hash Join，不同Join类型的开销如下：Broadcast Join：如果根据数据...
Node Labels特性使用
这里只介绍Node Labels配置节点映射最方便的centralized模式便于理解工作原理，EMR-5.11.1及之后版本和EMR-3.45.1及之后版本已经默认使用 yarn.node-labels.configuration-type=distributed 模式，无需使用本文提供的手动添加命令，支持在...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
顺序消息
说明 全局顺序消息实际上是一种特殊的分区顺序消息，即Topic中只有一个分区，因此全局顺序和分区顺序的实现原理相同。因为分区顺序消息有多个分区，所以分区顺序消息比全局顺序消息的并发度和性能更高。如何实现顺序消息 全局顺序消息和...
分区裁剪
动态分区裁剪的原理：利用JOIN算子内表的数据，动态生成外表（分区表）的分区过滤器，从而跳过不需要的分区。如果没有分区裁剪，分区大表和小表的JOIN可以简化为下图：当JOIN KEY为分区键，那么分区表中的所有分区都需要被扫描，然后和小表...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
表分区
由于分区表及其分区组成的分区层次仍然是一种继承层次，所以继承的普通规则也适用，不过有一些例外，尤其是：分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...
列存索引如何实现高效数据过滤
基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询效率的技术。IMCI支持的分区类型包括RANGE、LIST、HASH三种。其中，RANGE和LIST分区会把数据表分成...
单元化介绍
本文结合蚂蚁集团支付宝系统的单元化架构建设实践，阐释单元化的原理与实现。单点瓶颈 任何一个互联网系统，不论是支付宝、淘宝，还是 Google、Facebook，当发展到一定规模时，都会不可避免地触及到单点瓶颈。这里所说的“单点”，在系统的...
一键表数据同步
前提条件 已开通DataWorks服务并创建DataWorks工作空间，详情请参见 创建工作空间。开通Hologres并绑定至DataWorks工作空间，详情请参见 绑定Hologres实例。背景信息 DataStudio支持 一键MaxCompute数据同步 功能，您可以使用可视化方式...
双样本T检验
双样本T检验基于统计学原理用来检验两个样本的均值是否有显著差异。本文为您介绍 Designer 提供的双样本T检验的参数配置和使用示例。组件配置 您可以使用以下任意一种方式，配置双样本T检验组件参数。方式一：可视化方式 在 Designer 工作...
订阅者最佳实践
云消息队列 Kafka 版 负载均衡消费的内部原理是，把订阅的Topic的分区，平均分配给各个消费实例。因此，消费实例的个数不要大于分区的数量，否则会有消费实例分配不到任何分区而处于空跑状态。这个负载均衡发生的时间，除了第一次启动上线...
一键MaxCompute数据同步节点
详细原理请参见 postgres_fdw。配置目标表信息。用于新建存放MaxCompute数据的Hologres内部表。参数 描述 目标schema Hologres内部表所属的 Schema。目标表名 Hologres内部表名称。当创建内部表时，若表名称已存在，不同类型的表处理策略...
K近邻
K近邻算法进行分类的原理是针对预测表的每行数据，从训练表中选择与其距离最近的K条记录，将这K条记录中类别数量最多的类，作为该行的类别。组件配置 您可以使用以下任意一种方式，配置K近邻组件参数。方式一：可视化方式 在 Designer 工作...
StarRocks物理表和字段详情
说明 当数据表为 物理表（内部表）时，使用Less Than和fixed range创建分区时，为您展示分区名、分区表达式、记录数、存储量、创建时间信息。当数据表为 物理表（外部表）时，暂无法获取分区信息。索引信息：当数据表为物理表（内部表）时...
如何使用Prometheus监控Kafka
分区指标：展示分区数量、ISR、Unclean Leader选举、Replica Lag、Offline分区、Under Replicated分区等明细信息。时间指标：展示Produce、Request、Fetch等各个环境的时间指标。集群流量指标：展示集群的总体流量指标。Broker流量指标：...
物化视图和字段资产详情
多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。说明 仅当物化视图有分区字段为您展示分区信息。分区记录数和存储量信息仅供参考。数据预览：若有当前表的查询权限，可以使用数据预览功能，...
PolarDB PostgreSQL版：ePQ架构详解
分区表支持：不仅包括对Hash/Range/List三种分区方式的完整支持，还包括对多级分区静态裁剪、分区动态裁剪的支持。除此之外，PolarDB PostgreSQL版 分布式ePQ执行引擎还支持分区表的Partition Wise Join。并行度弹性控制：包括全局级别、表...
如何使用Prometheus监控Kafka
分区指标：展示分区数量、ISR、Unclean Leader选举、Replica Lag、Offline分区、Under Replicated分区等明细信息。时间指标：展示Produce、Request、Fetch等各个环境的时间指标。集群流量指标：展示集群的总体流量指标。Broker流量指标：...
创建服务器迁移任务
使用内网传输能获得比通过公网更快速更稳定的数据传输效果，提高迁移工作效率。您可以通过VPN网关、高速通道物理专线、智能接入网关将源服务器和云上VPC打通。更多信息，请参见 连接本地IDC。传输限速 迁移过程中，数据传输的带宽上限限制...
导入数据并查询
说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列（本例中的p1、p2、p3）且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明（本例中p1为第1级分区，p2为第2级分区，p3为第3级分区）。列定义中必须定义...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
数据迁移服务隐藏列机制说明
有分区字段，创建隐藏列和唯一索引 create table `partlistcolumns_key_nopri`(`col1` int(11),`col2` decimal(10,2),`col3` decimal(10,2),`col4` bit(1),`col5` tinyint(4),`col6` smallint(6),`OMS_PK_INCRMT` bigint COMMENT 'Reserved...
分区表扫描算子
分区间并行：每个工作进程查询一个分区。混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE part_range(a INT,b VARCHAR,c NUMERIC,d INT8)PARTITION BY RANGE(a);SELECT 'CREATE TABLE...
RestAPI Reader最佳实践
接口测试工具调用示例：准备工作：创建MaxCompute分区表 本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。说明 分区表配合覆盖写命令，可以实现分区覆盖写的效果，让数据同步...
表操作篇
设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是最小的分区单位，相同的分区键值下的数据无法再做切分。为了防止某一个分区键值的数据成为访问热点造成单机服务能力...
支持多级分区表上创建全局索引
PolarDB PostgreSQL版（兼容Oracle）支持在多级分区表上以及分区键上创建全局索引（Global Index）。前提条件 PolarDB PostgreSQL版（兼容Oracle）的内核小版本需为20230930（v1.1.35）版本及以上。注意事项 在多级分区中，Global Index...
OSS数据湖加速
湖数据查询的原理是在运行时将外表数据的特定查询分区加载到Hologres的内存和缓存中完成计算，为不影响查询体验，Hologres一次查询支持的数据量不超过200GB（经分区过滤后命中的数据量）。不支持对外表执行 UPDATE、DELETE 及 TRUNCATE 等...
块存储FAQ
如果您直接测试裸盘分区，会破坏裸盘分区中的文件系统元数据，导致无法访问该裸盘分区中的文件，甚至导致实例宕机。使用FIO的文件系统测试性能方式时，不存在上述问题。如何根据应用需求选择可用区？按量付费的云盘只能挂载到同一可用区的...
DataWorks的审计事件
AddProjectMemberToRole 添加DataWorks工作空间用户至角色。AddTenantUser 添加租户成员。AddToMetaCategory 添加表至指定的类目。ApprovePermissionApplyOrder 审批一个权限申请单。BatchCreateIndicator 批量创建指标。...
- 产品推荐
- 这些文档可能帮助您