如何设计宽表主键
最佳设计示例：设计md5散列算法，主键设计为[md5(userid).subStr(0,4)][userId][orderid]。设计反转，主键设计为[reverse(userid)][orderid]。设计取模，主键设计为[bucket][timestamp][hostname][log-event];long bucket=timestamp%...
表操作篇
对 OrderNumber 使用 md5 算法计算前缀（您也可以采取其他哈希散列算法），拼接成 HashOrderNumber。因为 md5 算法计算得到的哈希字符串可能过长，我们只需要取前几位就能达到让 OrderNumber 相连的记录在表中随机分布的目的。在这个例子中...
CREATE TABLE（AUTO模式）
前缀分区列：若一个向量分区键由N（N>1）个分区列组成，它的前K（1）个分区列便组成这个向量分区键的前缀分区列。分区函数：将分区列作为一个函数的输入参数，并将该函数的输出结果作为原始值参与路由计算，该函数被称为分区函数。分区裁剪...
图形认证服务端集成
生成签名#生成签名使⽤标准的hmac算法，使用用户当前完成验证的流水号lot_number作为原始消息mess#采用sha256散列算法将message和key进行单向散列生成最终的签名 lotnumber_bytes=lot_number.encode()prikey_bytes=captcha_key.encode()...
数据节点
当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。说明 散列字段可以与排序字段保持一致。散列位数：自定义的散列...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对键值进行取余散列，其散列效果可能会比较差。但如果通过RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了0x01、0x02、0x03和0x04，这样的散列效果就会比较...
RIGHT_SHIFT
通常一些业务后N位可能只是一些业务上的标志位，如果直接对面值进行取余散列，其散列效果可能会比较差。但如果通过 RIGHT_SHIFT（shardKey,8）将拆分键的值进行二进制右移8位，则分别变成了 0x01、0x02、0x03 和 0x04，这样的散列效果就会...
CREATE TABLE
重要 加盐因子（salt_factor）是进一步散列相同storeId列值的数据，通常设置为一个较小的数值，并且数值与分区数量是两倍的数量关系。如果分区数量为16，当salt_factor大于4时，则无法散列数据。加盐因子的其他值表示如下：salt_factor=1：...
分区索引
HASH分区 HASH分区将数据进行散列存储，从而避免出现数据的热点问题。在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，...
HASH
LINEAR HASH与HASH的不同之处在于，LINEAR HASH使用线性二次幂算法，而HASH使用散列函数值的模数。在语法上，LINEAR HASH和HASH的唯一区别是LINEAR在PARTITION BY子句中添加了关键字。示例 HASH类型的使用示例：CREATE TABLE sales_hash(s_...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
AUTO模式数据库与DRDS模式数据库
支持采用按分区数取模的路由算法，不支持热点散列。Range分区&Range Columns分区 支持，支持热点散列。不支持。List分区&List Columns分区 支持。不支持。向量分区键（使用多个列作为分区键）支持。分区键支持按向量分区，例如 PARTITION ...
合并列
合并列算法组件是将两张表的数据按列合并，需要表的行数保持一致，否则报错。如果两张表只有一张存在分区，则分区表需要连接第二个输入端口。组件配置 您可以使用以下任意一种方式，配置合并列组件参数。方式一：可视化方式 选取左表待合并...
Encrypt
关于KMS的加密算法默认值，请参见本文 使用说明 表格中的 加密算法 列。PaddingMode string PKCS7_PADDING 填充模式。仅当加密算法（Algorithm参数）为AES_CBC或AES_ECB时，本参数返回有效值，其他场景返回空值。RequestId string 475f1620...
Decrypt
具体的取值和默认值，请参见本文 使用说明 表格中的 加密算法 列。重要 必须与加密时使用的算法相同。Iv bytes 否 二进制数据 对数据加密时使用的初始向量。仅当解密算法（Algorithm参数）为AES_GCM、AES_CBC或SM4_GCM时需要提供本参数。...
新增脱敏算法
敏感数据保护功能提供了哈希、遮掩、替换、变换、加密五类脱敏算法，您可以基于某个内置的脱敏算法自定义不同的脱敏规则，从而形成灵活、多样的脱敏策略。敏感数据保护功能中内置了一个全遮掩的脱敏规则，如果您需要其他的脱敏方式，可以...
机制
有散列和无散列 Hash/digest（哈希值）：SHA1，SHA224，SHA256，SHA384和SHA512 密钥封装：AES Key Wrap，AES-GCM，RSA-AES和RSA-OAEP 导出密钥：ECDH 支持的密钥生成机制 CKM_GENERIC_SECRET_KEY_GEN CKM_DES3_KEY_GEN CKM_AES_KEY_GEN ...
向量聚合
算法保留列名 组件输出结果中需要保留的列。参数设置 输出结果列列名 新生成的向量列的列名。处理无效值的方法 取值如下：ERROR（默认值）：任务抛异常退出。SKIP：输出NULL。组件多线程线程个数 默认1。执行调优 节点个数 与单个节点内存...
高斯混合模型预测
算法保留列名 选择算法保留的列名称。参数设置 预测结果列名 预测结果列的列名称。预测详细信息列名 预测详细信息列的列名。组件多线程线程个数 组件多线程的线程个数，默认为1。执行调优 节点个数 与 单个节点内存大小 参数配对使用。取值...
swing推荐
算法保留列名 算法保留列的名称。参数设置 推荐结果列名 推荐结果列的名称。推荐TOP数量 推荐的TOP数量，默认为10。组件多线程线程个数 组件多线程的线程个数，默认为1。执行调优 节点个数 节点个数，与参数 单个节点内存大小 配对使用，正...
Lasso回归预测
可视化配置组件参数 输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 预测输入模型 无 Lasso回归训练 是 预测输入数据 无 读数据表 特征工程 数据预处理 是 组件参数 页签 参数 描述 字段设置 算法保留列名 选择算法保留列的名称...
岭回归预测
可视化配置组件参数 输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 预测输入模型 无 岭回归训练 是 预测输入数据 无 读数据表 特征工程 数据预处理 是 组件参数 页签 参数 描述 字段设置 算法保留列名 选择算法保留列的名称。...
DBSCAN预测
DBSCAN（Density Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法。它将簇定义为密度相连的点的最大集合。把具有高密度的区域划分为簇，可以在噪声的空间数据集中发现任意形状的聚类。您可以使用DBSCAN...
Prophet
Prophet是Facebook开源的时间序列预测算法，适用于具有一定规律的数据。Prophet组件通过对每一行的MTable数据，进行Prophet时间序列预测，给出下一时间段的预测结果。本文为您介绍Prophet组件的配置方法。使用限制 支持的计算引擎为...
MTable展开
算法保留列名 选择算法保留列。参数设置 Schema 展开的列名和类型。格式为 colname coltype[,colname2,coltype2[,.]]，例如 f0 string,f1 bigint,f2 double。处理无效值的方法 处理无效值的方法，取值如下：ERROR（默认值）：抛异常。SKIP...
秒级加字段
该表记录了使用Instant算法增加的列信息，例如列名、列序号和默认值（二进制方式存储）等。您可通过如下语句查看该表详情来确认新增的列信息。SELECT*FROM INFORMATION_SCHEMA.INNODB_SYS_INSTANT_COLUMNS;说明 对目标表使用了Instant算法...
GBDT二分类预测V2
GBDT二分类预测V2组件提供了针对GBDT二分类V2组件的预测功能，使用梯度提升决策树(Gradient Boosting Decision Trees)算法，对数据进行二分类问题的预测。本文介绍GBDT二分类预测V2组件的配置方法。支持计算资源 支持的计算引擎为...
列数据转向量
可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 数据 数值类型 读数据表 读CSV文件 是【右侧参数表单】页签 参数 描述 字段设置 算法保留列名 组件输出中需要保留的列名，默认保留所有列。选中的列名...
列数据转KV
组件为数据预处理组件，将多列数据转换为Key:Value格式的一列数据。使用限制 支持的计算引擎为MaxCompute和Flink。算法简介 将数据格式从多列转成Key:Value格式，用户可以指定Key之间的分隔符和Key与Value之间的分隔符。转换之后，多列数据...
XGBoost预测
XGBoost算法在Boosting算法的基础上进行了扩展和升级，具有较好的易用性和鲁棒性，被广泛用在各种机器学习生产系统和竞赛领域，该算法支持分类和回归。XGBoost预测组件是在开源社区的基础上进行包装，您可以使用该组件对XGBoost训练组件...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
I-V曲线诊断
数据服务中提供光伏智能运维的IV曲线诊断算法，结合环境光强度、环境温度等影响因素，对组串式光伏发电阵列的电流-电压曲线（I-V曲线）进行分析，检测系统可能出现的故障，进而提高设备的运行效率，保障电站高效运行。本文介绍光伏智能运维...
表存储格式定义
目前 AnalyticDB PostgreSQL版 支持的压缩算法如下：4.3 版本支持zlib、rle_type 6.0 版本支持zstd、zlib、rle_type、lz4 说明 也可以指定QuickLZ压缩算法，但内部会使用zlib算法替换，另外rle_type算法只适用于列存表。示例：创建一个使用...
管理敏感数据
当您需要调整敏感列的安全级别、脱敏算法、授予或回收指定用户查询、导出或变更敏感列数据的权限时，您可参考本文进行操作。前提条件 用户角色为管理员、DBA和安全管理员。说明 鼠标移动到界面右上角的，查看您的角色。支持的数据库：关系...
数据脱敏
背景信息 数据脱敏是指对某些敏感信息，例如姓名、身份证号码、手机号、固定电话、银行卡号、邮箱等个人信息，通过脱敏算法进行数据变形，以保护敏感隐私数据。概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将...
使用pgcrypto及国密SM4加密算法
AnalyticDB PostgreSQL版 内置加密解密模块pgcryoto并集成国密SM4加密算法，允许数据库用户以加密形式存储数据的某些列，为敏感数据增加了一层额外的保护。无密钥时，任何用户都无法读取以加密形式存储在数据库中的数据。注意事项 pgcrypto...
SSH服务的相关介绍
Linux环境自动登录 SSH连接交互过程简介 非对称加密算法 说明：SSH服务主要采用RSA算法（协议V2默认算法）和DSA算法（协议V1仅支持该算法）来实现非对称加密技术。SSH服务是基于非对称加密（public-key cryptography，也称公开密钥加密）...
管理证书
在配置 ALB 单向认证或双向认证业务时，您需要在阿里云证书中心购买证书，或者将所需的第三方签发的服务器证书和CA证书上传至阿里云证书中心，ALB 从证书中心获取该证书并使用。背景信息 ALB 支持单向认证和双向认证，请根据您的需要进行...
添加HTTPS监听
调度算法 选择调度算法。加权轮询（WRR）：权重值越高的后端服务器，被轮询到的次数（概率）也越高。轮询（RR）：按照访问顺序依次将外部请求分发到后端服务器。开启会话保持 选择是否开启会话保持。开启会话保持功能后，负载均衡会把来自...
管理数据库资产
您证书使用的算法必须为RSA，否则数据库审计服务将无法解析加密后的数据流量。您可以联系数据库厂商获取 安全证书。如果您已为要审计的数据库配置了证书，您需要在此参数处上传数据库正在使用的证书或私钥文件，否则数据库审计服务将无法...
- 产品推荐
- 这些文档可能帮助您