逻辑回归
计算逻辑原理 逻辑回归的思路是，先拟合决策边界（不局限于线性，还可以是多项式），再建立这个边界与分类的概率联系，从而得到了二分类情况下的概率。本质是假设数据服从这个分布，然后使用极大似然估计做参数的估计。参数说明 IN端口 ...
组件参考：所有组件汇总
推荐方法 FM算法 FM（Factorization Machine）算法兼顾特征之间的相互作用，是一种非线性模型，适用于电商、广告及直播的推荐场景。ALS矩阵分解 交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估...
线性回归
线性回归模型具有简单、易于理解和解释的特点，同时可以通过多项式扩展等方法处理非线性数据，具有较高的泛化能力和预测准确率。但是，线性回归模型对于离群点、噪声数据和非线性关系的数据比较敏感，需要进行特征标准化和正则化处理。组件...
岭回归训练
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
高斯过程回归
功能说明 高斯过程回归是使用高斯过程先验对数据进行回归分析的非参数模型。计算逻辑原理 高斯过程回归中支持三种核函数：高斯核：，其中尺度因子，尺度 是高斯核函数的参数。线性核：，其中偏移 和尺度因子，是线性核函数的参数。二次有理...
基本概念
Validation Loss Validation Loss代表针对验证集学习的拟合程度，曲线一般呈现先下降后上升趋势，Loss越小，表示验证数据拟合程度越高，优秀的模型效果往往出现Validation Loss的最小值节点，此时拟合程度最佳，训练效果最好。Validation ...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
滤波
是 整数或浮点数 说明 若存在非数值数据，则会抛出异常 不限 OUT端口-输出参数 参数名 参数描述 输出数据类型 OUT 滤波后的输出，与IN端口配置的输入参数一致。浮点数 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 滤波类型 ...
未来规划
数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠...
相关性分析
皮尔逊相关系数：用于衡量两个数据集是否在一条线上面，即针对线性数据的相关系数计算，针对非线性数据便会有误差。肯德尔相关系数：用于反映分类变量的相关性，即针对无序序列的相关系数计算，非正太分布的数据。斯皮尔曼相关系数：用于非...
版本说明
V2.6.13 2021年4月30日 问题修复 修复IgnoreError模式下未捕获异常的逃逸引发的行为不一致 修复查询时指定过小startTime时查不到数据的问题。V2.6.12 2021年4月9日 设计优化 添加数据写入的审计日志（由于会对写入性能有影响，只接受提交工...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
时空引擎版本发布记录
Bug修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_MosaicFrom 函数在波段数大于3时造成的波段缺失问题。Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。6.2 新特性 ...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
LightGBM算法
设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据对内存的使用、减少通信代价以及提升多机并行时的效率，在数据计算上实现线性加速。使用场景 LightGBM是一个算法框架，包括GBDT...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
多值数据查询
多值模型数据查询 mquery 请求路径和方法 请求路径 请求方法 描述/api/mquery POST 查询数据 重要 多值模型数据和原来写入的单值模型数据不兼容。单值模型数据需要通过原有的/api/put 接口进行写入。同时多值写入数据需要通过/api/mquery ...
PolarDB并行查询
方案 随着互联网的发展，数据量的爆炸，一定的数据分析能力、异构数据的处理能力开始成为事务型数据库的标配，MySQL社区在8.0版本中也对自身的查询处理能力做了加强，包括对子查询的transformation、hash join、window function支持等，...
Tair选型指南
创建 云原生内存数据库Tair 实例前，您需要结合产品性能、价格、业务场景、工作负载等因素，做出性价比与稳定性最优的决策。本文围绕以上因素，着重介绍实例类型、引擎版本、架构、存储介质，为您的选型提供相关参考。免费试用 阿里云免费...
岭回归预测
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
功能特性
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
基本概念
数学规划求解常见的子问题类别还有混合整数规划（Mixed Integer Programing,MIP)、非线性规划（Nonlinear Programing，NLP）等。除此外，当前还有 仿真优化 和 在线优化 类别能力，可联系我们获取。本地运行版 本地运行版，简称本地版，是...
分段多项式回归
参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。IGateOffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件...
外部表概述
外部表示例 您可以通过以下示例，深入了解通过MaxCompute外部表功能处理各种非结构化数据的方法：访问OSS和TableStore（OTS）非结构化数据，请参见 访问OSS非结构化数据 和 访问OTS非结构化数据。外部表访问OSS的账号，在RAM中自定义授权...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
常见问题
非插件报错原因及解决方案 如何处理编码格式设置/乱码问题导致的脏数据报错？任务存在SSRF攻击Task have SSRF attacks如何处理？离线同步任务执行偶尔成功偶尔失败。离线同步源表有加列（修改）如何处理？如何处理表列名有关键字导致同步...
方差膨胀系数VIF
一般来说，VIF小于5表示自变量之间不存在显著的共线性问题，大于10则表示自变量之间存在严重的共线性问题，需要对数据进行处理或者剔除相关变量。在实际应用中，VIF可以用于变量选择和模型调整，以提高模型的可解释性和预测能力。在联邦...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
动态特征提取
线性趋势：对采样数据序列进行线性拟合，取线性模型的系数，作为输出。变化趋势：对采样数据序列做Mann-Kendall测试（曼肯德尔检验），若“无趋势”，则输出0；反之，则取slope参数，作为输出。曼肯德尔检验：Mann-Kendall 趋势检验（有时...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
归一化
参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 IN 需要归一化处理的变量 是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。不限 PARAM端口-输入参数 参数名 参数描述 是否必填 参数默认值 参数范围 ...
什么是数据库备份DBS
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
- 产品推荐
- 这些文档可能帮助您