什么是AI分布式训练通信优化库AIACC-ACSpeed
高效AllReduce算法 问题分析 以V100实例为例，单机内部利用nvlink做P2P通信，带宽高达300 GB/s，而多机网络性能在100 Gbps以下，吞吐性能较差，采用传统的ring-allreduce算法因跨机问题性能受限制，从而导致整体性能下降。优化方法 相比较...
Contextual Bandit 算法
相较A/B测试方案，能更快地收敛到最优策略 如何在一次请求中推荐多个候选物品，使用如下Multiple-Play Bandit Algorithm：算法详细描述 Bandit算法是一类用来实现Exploitation-Exploration机制的策略。根据是否考虑上下文特征，Bandit算法...
滑动窗口
本文介绍如何使用Spark SQL流式处理中的滑动窗口函数。什么是滑动窗口 滑动窗口（HOPPING），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有windowDuration和slideDuration两个参数。windowDuration为窗口的...
ST_trajAttrsMeanMax
描述 Mean-Max 算法通过一个滑动窗口，分别计算出落入该窗口的属性值的平均值，再求出所有均值的最大值。该函数仅对integer和float类型的属性值有效。属性值不能为NULL。示例 With traj AS(Select ST_makeTrajectory('STPOINT','LINESTRING...
ST_trajAttrsMeanMax
描述 Mean-Max 算法通过一个滑动窗口，分别计算出落入该窗口的属性值的平均值，再求出所有均值的最大值。该函数仅对integer和float类型的属性值有效。属性值不能为NULL。示例 With traj AS(Select ST_makeTrajectory('STPOINT','LINESTRING...
ST_trajAttrsMeanMax
描述 Mean-Max 算法通过一个滑动窗口，分别计算出落入该窗口的属性值的平均值，再求出所有均值的最大值。该函数仅对integer和float类型的属性值有效。属性值不能为NULL。示例 With traj AS(Select ST_makeTrajectory('STPOINT','LINESTRING...
ST_trajAttrsMeanMax
描述 Mean-Max 算法通过一个滑动窗口，分别计算出落入该窗口的属性值的平均值，再求出所有均值的最大值。该函数仅对integer和float类型的属性值有效。属性值不能为NULL。示例 With traj AS(Select ST_makeTrajectory('STPOINT','LINESTRING...
功能特性
限流算法默认是令牌桶算法，也支持漏桶、滑动窗口的限流算法。网关可以对 API 的响应内容进行缓存，降低对后端 Server 的压力。跨域资源共享 针对 HTTP 的跨域请求，API 网关支持 API 级别的跨域配置以及环境级别的跨域配置。支持设置标准...
通过消费组读取文本日志进行模板匹配
时间窗口长度 算法以滑动窗口的方式依次分析每个时间窗口内的日志。单位：秒。算法会等待时间窗口内的全部日志被采集完成后，再进行分析并生成分析结果。异常总数阈值 当时间窗口内出现的异常事件数量达到该阈值时，表示实体整体倾向于处于...
窗口函数
窗口框架，用于指定一个滑动窗口的数据给窗口函数处理给定的行数据。如果这个框架没有指定，它默认的方式是 RANGE UNBOUNDED PRECEDING，与RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW相同。这个框架包含当前分区中所有从开始到...
概述
警告 滚动窗口、滑动窗口和会话窗口不能与last_value、first_value、TopN函数合用，会造成数据乱序被丢弃，导致结果数据异常。时间属性 Flink SQL支持Event Time和Processing Time两种时间属性，时间属性详情请参见 时间属性。Flink可以...
产品简介
高性能 根据用户的配置，本产品可为用户自动分配最优算法，10 亿量级的数据求交可在小时级内完成。配置灵活性高 可灵活配置求交结果的获取方和求交结果的内容，即结果可选择两组数据的交集或差集。应用场景 在联合营销场景中，机构甲期望在...
会话窗口
会话窗口与滚动窗口和滑动窗口相比，没有窗口重叠，没有固定窗口大小。相反，当它在一个固定的时间周期内不再收到元素，即会话断开时，该窗口就会关闭。会话窗口通过一个间隔时间（Gap）来配置，这个间隔定义了非活跃周期的长度。例如，...
功能特性
科学统一的评估参数决策最优模型 算法逻辑的复杂和专业性使得用户在面对生成的多个候选模型时筛选茫然，基于这种情况，我们在训练结束后可以进入评估环节，只要少量的测试集上传就可以根据平台提供的可视化数据评估指标来进行筛选和抉择，...
数据预处理函数
滑动窗口的末尾从1开始，因为第一个滑动窗口只有1，所以输出的平均值为1。窗口向后滑动，第二个滑动窗口内有数值1、2，所以输出（1+2）/2=1.5。窗口继续滑动，第三个滑动窗口内有数值2、3，所以输出（2+3）/2=2.5。c0 b c d 1.0 1 1 1 1.5 ...
窗口函数
所有 聚合函数 都可以通过添加 OVER 子句来作为窗口函数使用，聚合函数将基于当前滑动窗口内的数据行计算每一行数据。例如，通过以下查询循环显示每个店员每天的订单额总和。SELECT clerk,orderdate,orderkey,totalprice,sum(totalprice)...
滑动窗口
本文为您介绍如何使用Flink滑动窗口函数。定义 滑动窗口（HOP），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有两个参数：slide 和 size。slide 为每次滑动的步长，size 为窗口的大小。slide，则窗口会重叠...
概述
IntervalJoin语句 复杂事件处理（CEP）语句 窗口函数 概述 滚动窗口 滑动窗口 会话窗口 OVER窗口 内置函数 支持的函数 标量函数 表值函数 聚合函数 自定义函数 Java 概述 自定义标量函数（UDSF）自定义聚合函数（UDAF）自定义表值函数...
Flink SQL参考
IntervalJoin语句 复杂事件处理（CEP）语句 窗口函数 概述 滚动窗口 滑动窗口 会话窗口 OVER窗口 内置函数 支持的函数 标量函数 表值函数 聚合函数 自定义函数 Java 概述 自定义标量函数（UDSF）自定义聚合函数（UDAF）自定义表值函数...
GBDT二分类V2
梯度提升决策树(Gradient Boosting Decision Trees)二分类，是经典的基于梯度提升（Gradient Boosting）的有监督学习模型，可以用来解决二分类问题。支持计算资源 支持的计算引擎为MaxCompute。算法简介 梯度提升决策树(Gradient Boosting ...
代码模板
滑动窗口聚合 如果您需要每间隔一段时间更新一个窗口内的数据，则可以使用滑动窗口。累积窗口聚合 如果您需要提早看到窗口的计算结果，例如每分钟看到最新的窗口结果，则可以使用累积窗口。说明 累积窗口聚合不支持CDC，使用CDC后语法校验...
K均值聚类
说明 由于 K均值聚类 是结果受初始值影响的局部最优的迭代算法，因此需要多跑几次以选择一个较好的聚类效果，默认是10，一般不需要改。如果你的k值较大，则可以适当增大这个值。是 10[1,99999999]最大迭代次数 单次运行的k均值算法的最大...
PolarDB MySQL版DDL操作指南
通常情况下，用户无需手动指定DDL使用的算法，PolarDB 会自动按照INSTANT、INPLACE、COPY的顺序选择最佳的算法。此外，您也可以使用 ALTER TABLE 语句的ALGORITHM和LOCK子句对DDL的行为做精细化管理：ALGORITHM子句：为了使用指定算法执行...
流量控制插件
unit:SECOND#控制区间,取值：SECOND,MINUTE,HOUR,DAY apiDefault:1000#允许的总流量值 controlMode:FIX_WINDOW#当时间维度为秒时，指定流控算法为固定时间窗口算法 blockingMode:QUICK_RETURN#令牌桶流控算法时，不会进入Queue排队，如果...
拒绝推断
拒绝推断（Reject Inference）是一种在金融场景经常和评分卡模型一起使用的数据增强方法，可以用来解决样本偏差问题。本文为您介绍拒绝推断组件的配置方法。算法简介 以信贷场景为例，用评分卡模型对用户的偿还、违约情况进行建模时只用到...
概述
Spark SQL流式处理支持两类窗口：滚动窗口（TUMBLING）滑动窗口（HOPPING）时间属性 Spark SQL支持Event Time时间属性，对数据进行窗口内聚合。Event Time：事件时间，通常是您提供在Schema中数据最原始的创建时间。说明 查询已存在的时间...
数据加密
在弹出的 配置加密算法 窗口，完成以下配置：加密算法：支持 ECC、RSA 和国密（SM2）。密钥内容：当加密算法为 ECC 或国密时，填写私钥内容。当加密算法为 RSA 时，分别填写公私钥内容。有关加密算法的密钥生成方法，参见 密钥生成方法。...
稳态数据挑选
否 滑动窗口检验 滑动窗口检验 组合统计检验 变量维度：多变量-多变量组合 参数名 参数描述 是否必填 参数默认值 参数范围 显著性水平1/否 0.01[0,1]显著性水平2/否 0.01[0,1]稳态提取方法：滑动窗口检验 参数名 参数描述 是否必填 参数...
窗口漏斗函数
窗口漏斗函数所采用的算法的详细说明如下：从事件链中的第一个事件开始并将事件计算器设置为1，然后开启滑动窗口。在滑动窗口内，如果事件链中的后续事件按顺序发生，则事件计数器依次递增。在滑动窗口内，如果事件序列中断，则停止本轮...
关键词抽取
该算法基于TextRank，根据PageRank算法思想，利用局部词汇之间关系（共现窗口）构建网络，并计算单词的重要性，最终选取权重大的作为关键词。常用流程如下：原始语料 分词 使用词过滤 关键词抽取 组件配置 您可以使用以下任意一种方式，...
机器阅读理解预测
滑动窗口大小 对篇章进行滑动窗口切分时，滑动窗口的大小。INT类型，默认值为128。pretrainModelNameOrPath 系统提供的预训练模型名称或路径选择，取值如下：用户自定义 hfl/macbert-base-zh（默认值）hfl/macbert-large-zh bert-base-...
机器阅读理解训练
滑动窗口大小 对篇章进行滑动窗口切分时，滑动窗口的大小。INT类型，默认值为128。迭代轮数 训练总Epoch的数量，INT类型，默认值为3。学习率 模型构建过程中的学习率，FLOAT类型，默认值为3.5e-5。保存Checkpoint步数 表示每训练多少步，对...
基本概念
要把这种解决问题的规律告诉机器就需要进行训练，而在真实业务场景中，单纯的根据已知数据训练出来的模型并不能真正满足用户的预期，所以自学习平台将已知数据寻找模型参数的训练过程，通过深度调参和候选模型评估比较最优模型，以供用户...
Alibaba Cloud Linux 2系统中TCP拥塞控制算法BBR对...
问题描述 符合下列条件的ECS实例中，内核TCP拥塞控制算法默认为BBR算法。该算法会在CPU使用率高、网络数据包（PPS）高的情况下，对网络性能产生一定影响。例如，Redis数据库的性能降低。镜像：aliyun_2_1903_64_20G_alibase_20190619.vhd ...
岭回归训练
岭回归（Tikhonov regularization）算法是对不适定问题进行回归分析时，最常用的正则化方法。岭回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍岭回归训练组件的配置方法。使用限制 支持的计算...
AutoML使用限制及规格
AutoML的使用限制以及规格，包括当前支持的地域，支持的搜索算法TPE、GridSearch（网络搜索）、Random（随机搜索）、Evolution（演化...PBT算法通过对单组超参不停迭代修改发现获得最优，而非通过全局结果来寻找单个最优解。相关文档 新建实验
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
工作原理
取值：运行中（RUNNING）重试中（STARTING）成功（SUCCEEDED）失败（FAILED）算法配置 算法配置包含时间窗口长度、异常总数阈值、模板源等。更多信息，请参见 算法配置。文本分析结果 本文分析结果包含日志模板、日志等级、日志类别、配置...
什么是DataTrust
DataTrust，结合了大量的场景实践，创新性提出了智能计算模式，能保障安全性的前提下，能根据场景、数据量、网络等情况，自动选择最优的协议、最优的计算引擎、最优的算法，自动为该场景匹配最优的计算模式。优质供给 随着全域群体智能兴起...
机器阅读理解解决方案
3.5e-5 保存Checkpoint步数 表示每训练多少步，对模型进行评价，并保存当前最优模型。600 pretrainModelNameOrPath 系统提供的预训练模型名称路径选择，取值如下：自定义 hfl/macbert-base-zh（默认值）hfl/macbert-large-zh bert-base-...
- 产品推荐
- 这些文档可能帮助您