组件参考：所有组件汇总
经验概率密度图 该组件是采用经验分布和内核分布两种算法。全表统计 该组件用于统计全表，或某些选中的列。卡方拟合性检验 该组件用于变量为类别型变量的场景，旨在检验单个多项分类型变量在各分类间的实际观测次数与理论次数是否一致，其...
Contextual Bandit 算法
利用 Bandit 算法设计的推荐算法可以较好地解决上述问题。根据是否考虑上下文特征，Bandit算法分为context-free bandit和contextual bandit两大类。算法伪代码（single-play bandit algorithm）：与传统方法的区别：每个候选商品学习一个...
政企安全加速
相关产品信息介绍 政企安全加速解决方案 面对日益严峻的网络安全问题，SCDN可以做什么？正确使用SCDN 让你更好规避安全风险 政企应用如何构筑安全合规的互联内容分发加速？更便捷、更安全、更极速的新一代SCDN：阿里云SCDN年度产品升级发布...
逻辑回归
本质是假设数据服从这个分布，然后使用极大似然估计做参数的估计。参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。...
优化内部表的性能
补充说明 使用默认的 exhaustive 算法可以全局探索最优的执行计划，但对于很多表的Join（例如表数量大于10），优化耗时可能较高。使用query或者greedy算法可以减少优化器耗时，但无法生成最优的执行计划。优化Broadcast等 Motion 算子 目前...
HTAP中的行列混存查询优化
cardinality estimation：根据查询表的分布情况，估计查询执行过程中的数据量、数据分布情况等。cost model：根据执行计划以及数据库内部的状态，计算按照各个执行计划执行所需要的代价。在查询优化器中，最为广泛研究的是查询计划中的join...
PS-SMART回归
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
PS-SMART二分类训练
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
PS-SMART多分类
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
什么是推荐全链路深度定制开发平台PAI-REC
因为我们可以从客户埋点的日志开始做数据分析，然后可以根据业务定制出特征工程、召回、排序的算法代码，引擎的配置文件，实验报表指标和统计代码。帮助客户轻松的搭建推荐系统，完善推荐场景，缩短推荐业务的建设和优化的周期。不管客户是...
技术原理
PolarDB-X优化器会基于代价估计将请求区分为TP与AP负载，其中AP查询会被进一步改写为分布式执行计划，发往只读实例进行计算，避免它对主实例的TP查询造成影响。MySQL生态兼容 PolarDB-X将兼容MySQL以及周边生态作为核心设计目标之一。本文...
AUTO模式数据库与DRDS模式数据库
本文介绍了什么是AUTO模式数据库与DRDS模式数据库，以及这两者模式的区别。PolarDB-X数据库模式概述 从 PolarDB-X 5.4.13版本开始，新增支持AUTO模式的数据库（也称为自动分区数据库）。AUTO模式的数据库支持自动分区，即创建表时无需指定...
分布键的选择策略
如果建表时未指定分布键，则默认表的主键为分布键，如果表没有主键，则默认将第一列当做分布键。您可以选择一个或多个列作为分布键，示例如下：create table t1(c1 int,c2 int)distributed by(c1,c2);谨慎选择随机分布DISTRIBUTED RANDOMLY...
梯度提升回归树算法（GBRT）
假设有一个回归模型，在回归模型中死亡率（或发病率）是需要拟合的变量 y_cols，则社会经济地位、教育或收入等可以做为其因变量。参数说明 下表中的参数为创建模型 CREATE MODEL 语法中 model_parameter 参数的取值，您可以根据当前需求...
配置脱敏模板和算法
通过单击 增加算法 可以在当前模板中添加多条脱敏算法规则。编辑或删除脱敏模板 登录 数据安全中心控制台。在左侧导航栏，选择 风险治理>脱敏配置。在 脱敏模板 页签，根据实际情况执行编辑或删除操作。编辑模板 如果需要更新指定脱敏模板...
概述
针对时序数据分析场景，日志服务提供了丰富的时序分析算法，可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题，兼容SQL标准接口，大大降低了您使用算法的门槛，提高分析问题和解决问题的效率。功能特点 支持单...
Lasso回归训练
Lasso（Least absolute shrinkage and selection operator）回归算法是一种压缩估计算法。Lasso回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍Lasso回归训练组件的配置方法。使用限制 支持的...
支持机制
支持的安全随机算法 算法 大小 AES-CTR-DRBG(FIPS compliant)AES-CTR-DRBG安全随机算法可以在HSM内为每个API调用生成多达8000字节的随机数。支持的密钥类型 算法 支持的大小（比特）AES 128,192,256(default）RSA密钥对 2048,2304,2560,...
K均值聚类
说明 如果是凸数据集的话可以不管这个值，如果数据集不是凸的，可能很难收敛，此时可以指定最大的迭代次数让算法可以及时退出循环。是 300[1,99999999]算法 自动：根据数据值是否是稀疏的，来决定选择“K-Means”或“elkan K-Means”。建议...
Beam使用（公测）
同时支持过滤条件下推，在特定的场景下，相对于通用压缩算法可以获得最高100X的扫描性能提升。示例 创建一个压缩算法为ZSTD 9级压缩的Beam表。CREATE TABLE beam_example(id integer,name text,ftime timestamp)USING beam WITH...
基于图算法实现金融风控
已知 Enoch 为信用用户，Evan 为欺诈用户，通过图算法可以计算其它人的信用指数，获得每个人为欺诈用户的概率，从而指导相关机构进行金融风控。数据集 本工作流数据集的具体字段如下。字段名 含义 类型 描述 start_point 边的起始节点 ...
注册及管理密钥
哈希脱敏密钥：用于加盐哈希脱敏算法（例如加盐MD5），没有严格的格式要求，一般多种加盐哈希脱敏算法可以使用同一个密钥。加解密密钥：用于加解密算法（例如AES、DES等），有严格的格式要求。一般情况下，不同的算法不可以混用。加解密...
注册及管理密钥
哈希脱敏密钥：用于加盐哈希脱敏算法（例如加盐MD5），没有严格的格式要求，一般多种加盐哈希脱敏算法可以使用同一个密钥。加解密密钥：用于加解密算法（例如AES、DES等），有严格的格式要求。一般情况下，不同的算法不可以混用。加解密...
基于文本分析算法实现新闻分类
PAI提供的智能文本挖掘算法可以实现新闻文本分类自动化（包括分词、词型转换、停用词过滤、主题挖掘及聚类等流程）。本工作流首先通过PLDA算法挖掘文章的主题，然后进行主题权重聚类，从而实现新闻自动分类。说明 本工作流数据为虚构数据，...
DBSCAN
该算法可以支持多大的数据量？数据量小于100万条，维度小于200。说明 如果数据量超出范围，建议先将数据分组，每个分组分别跑DBSCAN算法。一个中心点的聚类中心ID为什么是2147483648？因为该数据点为离散点，不属于任何一个聚类中心。附录2...
签名机制
本算法可以用下面的 percentEncode 方法来实现：private static final String ENCODING="UTF-8;private static String percentEncode(String value)throws UnsupportedEncodingException { return value!null?URLEncoder.encode(value,...
自动机器学习（AutoML）
什么是AutoML AutoML是PAI产品的机器学习增强型服务，集成了多种PAI平台支持的算法和分布式计算资源，支持多种方式访问。在模型超参调优领域，它可以帮助您自动寻找最优化超参值，大幅提高模型调优效率。AutoML工作原理 AutoML实现自动化...
分解类算法参数调优
istl-esd算法可以自动感知数据的周期长度。您也可以手动指定周期长度，例如指定周期长度为12小时，示例如下：SELECT xx,anomaly_detect(mean_duration,'istl-esd','frequency=1h,periods[0]=12h,reset_state=true')as res FROM xxx WHERE ...
时序异常检测的常见问题
本文介绍时序异常检测的一些通用问题。时序异常检测对数据有什么要求？若待检测数据包含了过多时间线，在进行异常检测时需...如果您认为数据分布发生了较大变化，异常检测的历史累计状态不再适用，可以添加 reset_state=true 参数来重置状态。
资产安全概述
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
资产安全概述
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
Designer概述
同时，Designer中内置了丰富且成熟的机器学习算法，覆盖商品推荐、金融风控及广告预测等场景，支持基于MaxCompute、通用训练资源、Flink等计算资源进行大规模分布式运算，可以快速满足不同方向的业务需求。Designer&PAIFlow产品架构 ...
模型配置
单击图表右上角 查看关联明细分布数据，可以跳转到 关联明细分布。关联明细分布：如下图所示，单商品关联视角 页签下方展示该商品的销量、销售额，以及与其关联性最强的前10个商品的关联购买算法权重（取值0~1，数值越大商品关联性越强）、...
什么是AI分布式训练通信优化库AIACC-ACSpeed
高效AllReduce算法 问题分析 以V100实例为例，单机内部利用nvlink做P2P通信，带宽高达300 GB/s，而多机网络性能在100 Gbps以下，吞吐性能较差，采用传统的ring-allreduce算法因跨机问题性能受限制，从而导致整体性能下降。优化方法 相比较...
什么是三维空间重建
产品可以帮助客户以较低的成本对室内空间进行数据采集，通过深度预估算法或人工标注的形式构建出3D模型，结合全景图像实现步进式3D漫游效果，最终服务于空间展示与营销的应用场景。同时，本产品面向开发者全面开放阿里云提供的API和SDK接口...
岭回归预测
您可以使用岭回归预测组件做数值型变量的预测，包括房价预测、销售量预测、湿度预测等。本文为您介绍岭回归预测组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 岭回归是一种专用于共线性数据分析的有偏估计...
PyAlink脚本
您可以使用PyAlink脚本调用Alink的分类算法做分类、调用回归算法做回归、调用推荐算法做推荐等。PyAlink脚本也支持与其他Designer的算法组件无缝衔接，完成业务链路的搭建及效果验证。本文为您介绍如何使用PyAlink脚本。背景信息 PyAlink...
概述
为什么需要冷启动 通常推荐系统通过协同过滤、矩阵分解或是深度学习模型来生成推荐候选集，这些召回算法一般都依赖于用户-物品行为矩阵。在真实的推荐系统中，会有源源不断的新用户、新物品加入，这些新加入系统的用户和物品由于缺乏足够...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
Lasso回归预测
您可以使用该组件做一些数值型变量的预测，比如贷款额度预测、温度预测等。本文为您介绍Lasso回归预测组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 Lasso回归算法通过构造一个惩罚函数，得到一个较为精炼的...
- 产品推荐
- 这些文档可能帮助您