相关性分析

皮尔逊相关系数:用于衡量两个数据集是否在一条线上面,即针对线性数据的相关系数计算,针对非线性数据便会有误差。肯德尔相关系数:用于反映分类变量的相关性,即针对无序序列的相关系数计算,非正太分布的数据。斯皮尔曼相关系数:用于非...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

敏感数据溯源

DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务,并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则,详情请参见 通过...

引擎功能

数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程,挖掘更深的数据价值。使用数据库内机器学习服务的优势主要体现在以下几个方面:简单易用:无需掌握专业的...

TRUNCATE

清空非分区表里的数据 将指定的非分区表中的数据清空。如果您需要清空分区表中单个或多个分区的数据,请参见 清空分区数据。命令格式 truncate table;参数说明 table_name:必填。待清空数据的非分区表的名称。清空分区数据 清空分区表中...

调度依赖配置指引

方式一:自定义依赖关系 若DataWorks上任务间不存在强血缘依赖(例如,不强依赖上游某个分区数据,仅取上游当前时间点最大分区数据),或依赖的数据非周期调度节点产出的表数据(例如,本地上传的表数据),则您可自定义节点的依赖关系。...

组件参考:所有组件汇总

推荐方法 FM算法 FM(Factorization Machine)算法兼顾特征之间的相互作用,是一种非线性模型,适用于电商、广告及直播的推荐场景。ALS矩阵分解 交替最小二乘ALS(Alternating Least Squares)算法的原理是对稀疏矩阵进行模型分解,评估...

线性回归

线性回归模型具有简单、易于理解和解释的特点,同时可以通过多项式扩展等方法处理非线性数据,具有较高的泛化能力和预测准确率。但是,线性回归模型对于离群点、噪声数据和非线性关系的数据比较敏感,需要进行特征标准化和正则化处理。组件...

PolarDB并行查询

其基本的思路是计算的下推,将尽可能多的计算分发到多个worker上并行完成,这样像IO这样的重操作就可以同时进行,但和一般的share-nothing分布式数据库不同,由于底层共享存储,PolarDB 并行中对于数据的分片是逻辑而物理的,每个worker...

开发运维建议

对于线性顺序存储的数据(如流式数据、时间字段或自增字段),通常查询时使用范围查询,建议使用 BRIN 索引,减少索引的大小,加快数据插入速度。CREATE INDEX idx ON tbl using BRIN(id);建议避免全表扫描(大数据量扫描的数据分析除外)...

导入与导出

数据同步过程中,可以修改源表中的字段类型,目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改,并且只能将取值范围小的数据类型更改为取值范围大的数据类型,或者将单精度数据类型更改为双精度数据类型。整型数据类型:支持...

多值数据查询

多值模型数据查询 mquery 请求路径和方法 请求路径 请求方法 描述/api/mquery POST 查询数据 重要 多值模型数据和原来写入的单值模型数据不兼容。单值模型数据需要通过原有的/api/put 接口进行写入。同时多值写入数据需要通过/api/mquery ...

单值查询数据

算子 描述 插值方法 avg 平均值 线性插值(斜率拟合)count 数据点数 插0 mimmin 最小值 插最大值 mimmax 最大值 插最小值 min 最小值 线性插值 max 最大值 线性插值 none 不做计算 插0 sum 求和 线性插值 zimsum 求和 插0 Filters说明 有...

概念解释

Validation Loss Validation Loss代表针对验证集学习的拟合程度,曲线一般呈现先下降后上升趋势,Loss越小,表示验证数据拟合程度越高,优秀的模型效果往往出现Validation Loss的最小值节点,此时拟合程度最佳,训练效果最好。Validation ...

常见问题

本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性?购买实例时,推荐选择哪一个版本?单双副本实例各有什么特点?购买链路资源时显示“当前区域资源不足”,应该如何...

产品架构

高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求,整体架构如下:TSCore 是时序引擎中负责数据组织的核心部分,其整体思想与LSM结构相似,数据先写入Memchunk,然后Flush到磁盘,但由于时序数据天然的顺序写入特征,定向...

LightGBM

参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征变量,用数据的特征变量去对目标变量进行预测。是 整数或浮点数 说明 若存在数值数据,则会置为NaN。CSV组件。IGateOffline组件。平台上其他...

管理问题数据

数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据,帮助您快速排查、定位问题,提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据数据质量支持在部分规则校验不通过...

RDS术语

DMS Data Management,数据管理,是一种阿里云提供的图形化的数据管理工具,集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...

分段多项式回归

参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在数值数据,则会抛出异常。CSV组件。IGateOffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件...

高斯过程回归

功能说明 高斯过程回归是使用高斯过程先验对数据进行回归分析的非参数模型。计算逻辑原理 高斯过程回归中支持三种核函数:高斯核:,其中尺度因子,尺度 是高斯核函数的参数。线性核:,其中偏移 和尺度因子,是线性核函数的参数。二次有理...

常见问题

支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...

什么数据资源平台

阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据...

泊松分布拟合

功能说明 泊松分布拟合组件支持对给定数据点进行泊松分布拟合,利用KS检验数据是否服从泊松分布,输出拟合后的概率分布,以及KS检验结果、泊松分布的期望(方差)。计算逻辑原理 泊松分布:泊松分布的概率密度函数为 泊松分布的参数是 单位...

高斯分布拟合

功能说明 高斯拟合分布组件支持对给定数据点进行高斯分布拟合,利用KS检验数据是否服从高斯分布,输出拟合后的概率分布,以及KS检验结果、高斯分布均值、标准差。计算逻辑原理 高斯分布:若随机变量 服从一个位置参数、尺度参数为 的概率...

偏最小二乘回归

偏最小二乘回归提供一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重相关性,而观测数据的数量(样本量)又较少时,偏小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。计算逻辑原理 偏最小二乘...

IO加速

当您需要应对数据库磁盘IO性能瓶颈时,云数据库RDS PostgreSQL的通用云盘IO加速功能为您提供了一个高效的解决方案。本文档将详细介绍该技术的优势、适用场景和工作原理,帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 ...

卡方分布拟合

功能说明 卡方分布拟合组件支持对给定数据点进行卡方分布拟合,利用KS检验数据是否服从卡方分布,输出拟合后的概率分布,以及KS检验结果、卡方分布自由度。计算逻辑原理 卡方分布:卡方分布是统计推断中应用最广泛的概率分布之一。其定义为...

NULL值相关的函数

返回类型 如果所有出现的 expr 都是数字数据类型或任何可以隐式转换为数字数据类型的非数字数据类型,则数据库将确定具有最高数字优先级的参数,隐式将其余参数转换为该数据类型,并返回该数据类型。示例 SELECT coalesce(null,3.934,1)...

动态特征提取

线性趋势:对采样数据序列进行线性拟合,取线性模型的系数,作为输出。变化趋势:对采样数据序列做Mann-Kendall测试(曼肯德尔检验),若“无趋势”,则输出0;反之,则取slope参数,作为输出。曼肯德尔检验:Mann-Kendall 趋势检验(有时...

逻辑回归

参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在数值数据,则会抛出异常。CSV组件。IGateInOffline组件。平台上其他数据处理组件。按照平台规范开发的自定义...

离线同步数据质量排查

如果写出数据和目标存储已有数据发生数据约束(主键冲突、唯一键约束、外键约束等),数据库则使用来源数据update更新目标表已有数据行,在目标表存在多个数据约束的情况下,数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...

离线同步并发和限流之间的关系

在一些数据同步场景,脏数据的出现会导致任务同步效率下降,以关系数据库写出为例,默认是执行batch批量写出模式,在遇到脏数据时会退化为单条写出模式(以找出batch批次数据具体哪一条是脏数据,保障正常数据正常写出),但单条写出效率会...

滤波

是 整数或浮点数 说明 若存在数值数据,则会抛出异常 不限 OUT端口-输出参数 参数名 参数描述 输出数据类型 OUT 滤波后的输出,与IN端口配置的输入参数一致。浮点数 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 滤波类型 ...

从RDS同步至自建Kafka集群

Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。通过数据传输服务DTS(Data Transmission Service),...

平台安全诊断

平台安全诊断目前支持的安全域说明如下:数据计算与存储安全性诊断 用于对数据权限的控制、数据存储加密、数据存储备份等功能进行安全性诊断,及时识别潜在的安全隐患,提升在数据存储与访问过程中的安全性。数据传输安全性诊断 用于对数据...

产品优势

本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用,提供企业级...

AUTO模式核心特性及典型场景

热点分裂——有效解决数据热点 对于热点数据,PolarDB-X 支持两种处理方式:第一种方案是将热点数据所在的分区数据迁移到特定的数据节点,让热点数据以独享存储资源的方式服务业务,能够实现热点数据不影响热点数据的业务。具体操作步骤...

Tunnel命令常见问题

java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常,通常是因为上传过程中的网络连接断开或超时导致的:当您的数据源并非是本地文件,需要从数据库等地方获取时,数据在写入的过程中还...

SQL查询

工作空间已配置数据源:DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源,若要操作引擎数据源,请确保已创建数据源,详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限:...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 Redis 版 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用