PolarDB并行查询
在join的表集合中，寻找一个可以做逻辑分片的表做拆分，如果3个表都不足以拆分足够多的分片，那就选最多的表，比如这里选择了t2，它可能拆出12个分片，但仍然无法满足并行度16的要求，导致有4个worker读不到数据而idle。聚集操作先在worker...
新功能发布记录
购买实例 集群变配能力整体优化 将现有变配能力做了进一步分类，按照临时变配、标准变配等能力进行了归类，增加了将临时存储和规格转为永久存储和规格的能力，更灵活的适配云上客户的业务变化。配置概述 备份恢复能力增强 新增 V4.0 及之后...
SQL性能问题
KEY VALUE函数使用单字符的分隔符 KEY VALUE的签名：KEYVALUE(content,keyValueSplit,keySplit,keyName)，当keyValueSplit和KeySplit是单字符，例如，冒号（:）、逗号（,）时，系统会使用优化算法，在二进制数据上直接寻找所需的keyName值...
评分卡训练
约束的实现依赖于底层带约束的优化算法，可以在分箱组件中通过可视化方式设置约束，设置完成后分箱组件会生成一个JSON格式的约束条件，并将其自动传递给下游连接的训练组件，详情请参见如下演示操作。系统支持如下六种JSON约束：“<”：...
PolarDB处理TPC-H查询的挑战和机遇
数据访问位置（Data Access Locality）Columnar Locality 这是列存的天然优势，紧凑的数据布局有益于cache locality，并且可以做压缩来减少IO开销。利用向量化技术以及基于SIMD指令集的计算原语，实现高效的算子内并行，提升算子执行效率。...
什么是推荐全链路深度定制开发平台PAI-REC
因为我们可以从客户埋点的日志开始做数据分析，然后可以根据业务定制出特征工程、召回、排序的算法代码，引擎的配置文件，实验报表指标和统计代码。帮助客户轻松的搭建推荐系统，完善推荐场景，缩短推荐业务的建设和优化的周期。不管客户是...
PS-SMART回归
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
PS-SMART二分类训练
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
如何通过图算法能力获取OneID高质量人
（一）背景 对于几乎所有的互联网企业，对于识别、追踪用户身份都有强烈的需求，精准识别用户身份后，就可以收集用户个性化的行为、身份数据，比如用户浏览了什么商品，看了什么视频，去了哪个餐厅等等，从而可以对搜索，广告，推荐等等...
PS-SMART多分类
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
核心自治技术案例解析
下面是双11期间自动SQL优化一个实际案例：某自治服务接入实例，DAS于11月7日通过负载异常检测到因慢SQL引起的负载异常，自动触发SQL优化闭环，SQL语句优化上线后，经过持续24小时优化效果跟踪完成优化收益评估，优化效果显著，如优化之前后...
DT-MPC v3.1
系统未知扰动特性参数 10 0.01~5000 权重动态调整最小系数 权重调整最小比例 0.1 0.02~1 CV最大变化速率 CV最大变化速率 1e8 1e-5~1e8 外部预测序列 CV预测序列 0-1e5~1e5 使用比例 使用比例 0 0~1 CV变量及参数-等级优化参数 参数名 描述 ...
API详情
BELLE针对中文做了优化，模型调优仅使用由ChatGPT生产的数据（不包含任何其他数据）。当前在大模型服务平台部署服务时使用的ModelScope社区模型id：AI-ModelScope/BELLE-LLaMA-13B-2M，模型版本：v1.0.1。更多信息可以参考ModelScope上 ...
PS线性回归
最小收敛误差 优化算法终止条件。最大特征ID 最大的特征ID或特征维度，该参数取值可以大于实际值。如果未配置该参数，则系统启动SQL任务自动计算。执行调优 核心数 默认为系统自动分配。每个核的内存大小 默认为系统自动分配。方式二：PAI...
CREATE SEQUENCE
CREATE SEQUENCE 用于创建一个新的序列数发生器。简介 CREATE SEQUENCE 创建一个新的序列数发生器。这涉及到用名称 name 创建并且初始化一个新的特殊的单行表。该发生器将由发出该命令的用户所拥有。如果给出一个模式名称，则该序列将被...
事务隔离
如果你能证明一个单一事务在独自运行时能做正确的事情，则你可以相信它在任何混合的可序列化事务中也能做正确的事情，即使它不知道那些其他事务做了些什么，否则它将不会成功提交。重要的是使用这种技术的环境有一种普遍的方法来处理序列化...
高性能Flink SQL优化技巧
KEY VALUE函数使用单字符的分隔符 KEY VALUE的签名：KEYVALUE(content,keyValueSplit,keySplit,keyName)，当keyValueSplit和KeySplit是单字符，例如，冒号（:）、逗号（,）时，系统会使用优化算法，在二进制数据上直接寻找所需的keyName值...
费用优化
优化配置 配置可以从以下两个方面进行优化：分区个数 一个分区最大可以处理5M/s的数据。只有readwrite的分区会收费。请调整分区个数，使其正好能处理5M/s的数据。减少分区个数请合并分区。Logstore 数据保存周期 针对您对日志的查询、存储...
Contextual Bandit 算法
利用 Bandit 算法设计的推荐算法可以较好地解决上述问题。根据是否考虑上下文特征，Bandit算法分为context-free bandit和contextual bandit两大类。算法伪代码（single-play bandit algorithm）：与传统方法的区别：每个候选商品学习一个...
DataV自定义组件性能优化
Style 关于样式计算的样式通用优化可以通过以下几个方面来完成：尽可能的样式共享，如果能共享，就不需要执行匹配算法，执行效率将会提高。减少昂贵属性开销，如box-shadow、filter、:nth-child、border-radius等属性的使用。使用更先进的...
DataHub成本节省攻略
DataHub序列化相关的模块进行了一次重大升级，在性能、成本、资源使用方面都有较大的优化，同时DataHub技术升级所带来的成本红利会辐射到每个用户身上，根据我们实际的调研发现，大部分用户的使用成本都可以达到30%以上的降幅，部分用户...
组件参考：所有组件汇总
序列标注训练（MaxCompute）（即将下线）该组件是将输入序列的每个TOKEN作为一个多分类问题，采用Google原论文中的序列标注方法，实现对输入序列TOKEN进行分类，通常用于分词、词性标注和命名实体识别等。文本摘要训练 该组件旨在从冗长、...
自动优化
自动优化是Delta Engine一组可选特性，当开启该组特性后，Delta Engine会自动合并对Delta表的多次写入产生的小文件，以牺牲部分写性能为代价，大幅提升查询性能。自动优化在这些场景下尤其有用：1）能接受分钟级时延的流式数据入湖；2）常...
使用操作系统Alibaba Cloud Linux 2（停止维护）
ACK目前已经全面支持Alibaba Cloud Linux 2的节点创建，并结合Alibaba Cloud Linux 2的高内核特性提供了多场景的优化。本文介绍ACK中使用Alibaba Cloud Linux 2操作系统的优势，及ACK基于Alibaba Cloud Linux 2提供的多场景优化。重要 ...
V3.3.47版本说明
更新内容 复购预测、货品推荐：优化算法模型、预测任务与关联的受众、行为数据集、商品数据集、商品池之间的删除先后逻辑，完善删除限制。优化新建算法模型的配置项说明，优化剩余可用模型训练任务数、预测任务数展示方式，优化其他多处...
单值查询数据
avg 平均值 线性插值（斜率拟合）count 数据点数 插0 mimmin 最小值 插最大值 mimmax 最大值 插最小值 min 最小值 线性插值 max 最大值 线性插值 none 不做计算 插0 sum 求和 线性插值 zimsum 求和 插0 Filters说明 有以下两种方法可以指定...
优化聚合与排序
MergeSort(sort="name ASC")LogicalView(tables="t1",shardCount=2,sql="SELECT `name` FROM `t1` AS `t1` ORDER BY `name`")相比 MemSort，MergeSort 算法可以减少 PolarDB-X 1.0 层的内存消耗，并充分利用 MySQL 层的计算能力。优化组合...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
优化内部表的性能
使用query或者greedy算法可以减少优化器耗时，但无法生成最优的执行计划。优化Broadcast等 Motion 算子 目前Hologres包含四种Motion Node，分别对应四种数据重分布场景，如下表所示。类型 描述 Redistribute Motion 数据通过哈希分布或随机...
热搜和底纹
什么是热搜和底纹 热搜和底纹是一个完整搜索引擎必备的基本功能，通常占据着搜索框入口的重要位置，提供不可或缺的业务价值。下图是看一个典型电商平台的热搜和底纹的位置。热搜和底纹处于搜索引擎整个工作流程的最上游，为搜索优化起铺垫...
V5.4.x系列实例版本说明
优化查询优化器的算法，用于消除JOIN、FILTER、基于BKA（Batched Key Access）算法的IN条件中的重复条件。优化部分子查询的执行速度。V5.4.9-16142062 日期2021-02-25 类别 说明 新增特性 默认禁止执行未包含条件的UPDATE或DELETE语句。...
机器学习（MADlib）
插件简介 MADlib机器学习模块主要解决以下问题：分类、回归问题：提供一系列算法，如K最近邻、MLP多层感知神经网络、SVM支持向量机、决策树等算法来解决二元分类、回归问题，集成最小二乘法、GLM广义线性回归、逻辑回归、多项式回归等模型...
部署及微调Qwen-72B-Chat模型
超参数配置：训练算法支持的超参信息如下，您可以根据使用的数据，计算资源等调整超参，或是使用算法默认配置的超参。超参数 类型 默认值 是否必须 描述 learning_rate Float 1e-05 是 用于控制模型权重更新的步长。min_learning_rate ...
列存索引中TopK算子的实现
动态选择内存磁盘算法 内存算法和磁盘算法不同，如果使用一个固定的阈值来作为选择内存算法或磁盘算法的依据（比如K小于阈值时使用内存算法，否则使用磁盘算法），那么针对不同的可用执行内存就需要设置不同的阈值，带来了人工干预的开销。...
V5.1.x系列实例版本说明
本文汇总了 PolarDB-X 1.0 实例V5.1.x系列的版本说明。V5.1.28-1508068 日期 2017.12.15 类别 说明 ...按时间和ID做双字段分区时，优化针对分库键的GROUP BY语句。针对Top N的ORDER BY LIMIT使用内存堆排。针对DML类型优化为单库下推模式。...
智能异常分析概述
核心名词 基本概念 说明 时序序列 在时序巡检任务的配置过程中，需要给算法提供标准的时间序列，即为Unix时间戳形式、等间隔的序列指标。实体 智能巡检任务中的观测对象。例如对某台机器上的某个特定的服务进行异常检测，通常对这个实体的...
版本说明
V2.6.12 2021年4月9日 设计优化 添加数据写入的审计日志（由于会对写入性能有影响，只接受提交工单开启，且仅支持后台运维查询）V2.6.11 2021年4月2日 新特性 api/mquery 和 api/query/mlast 增加 roffset 与 rlimit 查询接口,其语义与原有...
PolarDB MySQL版DDL操作指南
此外，您也可以使用 ALTER TABLE 语句的ALGORITHM和LOCK子句对DDL的行为做精细化管理：ALGORITHM子句：为了使用指定算法执行DDL语句，您可以指定ALGORITHM字段，可选的值有DEFAULT、INSTANT、INPLACE和COPY。当DDL操作不支持该算法时，会...
新功能发布记录
ACU时包 2023年2月 V3.1.6.4 类别 名称 说明 相关文档 新增 Roaring Bitmap函数 Roaring Bitmap是一种高效的Bitmap压缩算法，被广泛应用在各种语言和各种大数据平台，常用于去重、标签筛选、时间序列等计算中。Roaring Bitmap函数 漏斗分析...
通过文件管理优化性能
为了提升查询性能，Delta Engine对数据的存储和布局进行了优化，目前支持两种布局算法：bin-packing和Z-Ordering。在本文中，我们会介绍如何使用这两种布局算法并给出使用案例。此外我们还介绍了Delta Engine的Data skipping功能，以及该...
- 产品推荐
- 这些文档可能帮助您