什么是DataTrust
DataTrust，结合了大量的场景实践，创新性提出了智能计算模式，能保障安全性的前提下，能根据场景、数据量、网络等情况，自动选择最优的协议、最优的计算引擎、最优的算法，自动为该场景匹配最优的计算模式。优质供给 随着全域群体智能兴起...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
质量规则参数配置
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
通过消费组读取文本日志进行模板匹配
相似度匹配算法 依赖日志模板库，将日志数据与模板库中的模板进行匹配，统计保存匹配结果。参数 说明 模板源Project 关联的日志模板库的Project名称。模板源Logstore 关联的日志模板库的Logstore名称。模板源任务 关联的日志模板库的资源...
工作原理
使用文本分析功能后，您只需要配置具体的监控项和少量的算法参数，算法会自动帮您识别日志中的异常情况，使您聚焦需要关注的日志内容。功能介绍 目前，文本分析支持通过消费组方式拉取日志中的文本内容，不需要配置索引。文本分析作业按照...
功能简介
利用智能算法能力自动生成洞察报告，极大降低业务人员分析数据的门槛。智能化深度诊断和建议：快速分析波动原因，提高业务优化决策效率。可针对用户在全平台中指定的波动指标，分钟级诊断深度原因和关联因素。数据集 对连接的数据集统一...
模型配置
算法模型的优劣依赖于训练数据，数据质量越高，数据量越大，算法效果越好。算法模型使用的行为数据集、商品标签数据集的数据要求与一般数据集有所不同，请分别参见 行为数据集样例、商品标签数据集样例 准备数据。行为数据集、商品标签数据...
时序引擎版本说明
修复Lindorm ML时序异常检测ostl-ttest算法和ostl-esd在数据量较大时会报错的问题。优化Lindorm ML时序异常检测性能。3.4.22 发布日期 类型 说明 2022年11月22日 新特性 降采样SQL查询支持前置值（单值）过滤。SQL支持时间线查询功能。LTS...
SQL优化技术
实例workload变化触发：随着业务SQL的上线和下线，数据库负载、数据量发生变化，现有索引不能很好匹配当前业务的性能要求，发起实例Workload层面的诊断优化。诊断能力 DAS的SQL诊断优化服务是自动SQL优化强大后盾，它采用基于代价模型方式...
解决方案：免费体验AnalyticDB PostgreSQL版以文搜图
在以文搜图中，用户可以输入文本描述，CLIP模型自动匹配相关的图像。本解决⽅案将基于 AnalyticDB PostgreSQL版 的向量检索引擎，实现⽂本向量到图⽚向量的快速检索。向量数据集，表结构如下：CREATE TABLE IF NOT EXISTS public.text_...
产品简介
该产品支持文本实体抽取、文本分类、关键短语抽取、情感分析、关系抽取、短文本匹配、商品评价解析等 NLP 定制化算法能力，用户无需拥有丰富的算法背景，仅需标注或上传适量文档数据，即可通过平台获得优质的 NLP 算法模型。教学视频 功能...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
算法说明
相似度匹配算法 相似度匹配算法使用外部日志模板库（可以使用日志模板发现任务构建初始的日志模板库），对日志数据进行匹配分析。统计日志模板库中每一个日志模板的出现次数变化情况，并及时发现新增的日志模板。相似度匹配算法使用向量...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
产品简介
该产品支持文本实体抽取、文本分类、关键短语抽取、情感分析、关系抽取、短文本匹配、商品评价解析等NLP定制化算法能力，用户无需拥有丰富的算法背景，仅需标注或上传适量文档数据，即可通过平台获得优质的NLP算法模型。三 企业智能搜索 ...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
图算法
图计算服务GraphCompute新增图算法分析功能，提供分析查询一体化解决方案，方便用户快速进行全图数据分析。功能介绍 图计算服务GraphCompute新增图算法功能，基于当前服务的数据进行算法执行，方便用户快速进行全图数据的分析。只需要开通...
新功能发布记录
数据脱敏管理 支持影子表同步功能，根据源表的表结构在同一个数据库中自动创建和同步影子表结构。影子表同步 影子表同步任务 支持分区计划功能，自动预创建和删除过期的 RANGE 分区和 RANGE COLUMNS 分区。分区计划 分区计划任务 支持 SQL ...
风险识别管理（新版）
风险识别管理提供了多维度的关联分析及算法，智能化的分析技术帮助您通过风险识别规则，主动发现风险操作并预警，使用可视化方式进行一站式审计。DataWorks内置了多种场景的风险识别规则，您可以直接使用，也可以根据业务场景自定义规则。...
功能更新动态（2024年）
新建及管理识别规则 查看数据分类预置模型 添加及管理识别结果 标签工厂 离线视图新增码表配置功能，在创建离线标签时，对应的标签字段自动匹配该码表，在下游使用该标签进行筛选时展示码值名称。行为关系的行为时间支持选择日期、文本数据...
文档更新动态（2024年）
更新说明 新建及管理识别规则 查看数据分类预置模型 添加及管理识别结果 标签工厂-数据准备/资产市场 离线视图新增码表配置功能，在创建离线标签时，对应的标签字段自动匹配该码表，在下游使用该标签进行筛选时展示码值名称。行为关系的...
深度解析Lindorm搜索索引（SearchIndex）特性
索引预处理 基于索引列的元信息将新插入或者更新的原始数据转换为索引数据，并且针对不同的场景可以选择与之匹配的Mutability属性，比较典型的例如日常监控，数据写入后不更新，可以选择Immutable模式，直接生成索引原始数据；而那些有状态...
SmartData 3.1.x版本简介
支持数据缓存自动触发功能，您可以通过设置需要跟踪的目标目录以及时间间隔，每隔相应的时间间隔，系统自动发现用户目录下的新增文件，并自动触发Cache操作。JindoTable计算优化 JindoTable Dump TF格式支持二维数组。Jindo mc dump支持...
数据模型
插值（Interpolation）时间线中间缺失部分数据点时，可通过插值算法进行数据点自动填充。数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
公告
数据安全新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以命中脱敏算法，提升数据安全性；识别结果管理功能优化，修改分类分级可基于识别记录自动推荐。新增码表目录、公共日历、离线代码模板...
通过消费组读取文本日志进行模板发现
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
JOIN优化和执行
JOIN是将多个表以某个或某些列为条件进行连接操作而检索出关联数据的过程，多个表之间以共同列关联在一起。本文主要介绍 PolarDB-X 如何优化和执行JOIN。基本概念 JOIN是SQL查询中常见的操作，逻辑上说，它的语义等价于将两张表做笛卡尔积...
DataHub成本节省攻略
2、序列化改造 DataHub因为在设计上是存在TUPLE这种强schema结构的，我们最初为了防止脏数据，在服务端校验了数据的有效性，这就导致了需要在服务端解析出来完整的数据，然后根据schema做个校验，如果类型不匹配，那么会返回错误。...
搜索增强
已适配数据源列表 链接 阿里云 RDS MySQL 云数据库 RDS 控制台 云数据库 RDS MySQL 版 文档 阿里云 MaxCompute MaxCompute 控制台 云原生大数据计算服务 MaxCompute 文档 阿里云 OSS 对象存储OSS 控制台 对象存储 OSS 文档 子路径/库表 ...
组件参考：所有组件汇总
IForest异常检测 该组件使用sub-sampling算法，降低了算法的计算复杂度，可以识别数据中的异常点，在异常检测领域有显著的应用效果。One-Class SVM异常检测 该组件与传统SVM不同，是一种非监督的学习算法。您可以使用One-Class SVM异常检测...
JOIN与子查询的优化和执行
如果需要手动控制，通过如下Hint可以强制 PolarDB-X 1.0 使用Hash Join以及确定JOIN顺序：/*+TDDL:HASH_JOIN(table_outer,table_inner)*/SELECT.Lookup Join(BKAJoin)Lookup Join是另一种常用的等值JOIN算法，常用于数据量较小的情况。...
2022年
2022-08-31 全部地域 读OSS外部表 支持分区表到期后自动删除表 当分区表的分区数据生命周期到期会自动回收，当所有分区都自动回收后，MaxCompute支持设置自动删除该分区表。2022-08-27 全部地域 生命周期操作 新增三个聚合函数 新增三个...
MaxCompute（原ODPS）数据源配置
开放数据处理服务MaxCompute（原ODPS）是一个开放的计算平台，如果您要导入到OpenSearch-行业算法版的数据是由MaxCompute平台计算而产生的，则可以在应用中配置MaxCompute源信息，在触发应用索引重建任务后，系统会自动去获取 MaxCompute ...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
二级索引
Lindorm宽表支持Tabular模型下的二级索引功能，此功能在非主键匹配的查询场景下，可以降低应用的开发复杂性、保证数据的一致性和提高写入效率。本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular...
阈值检测
实现原理 当您单击 填入P4建议阈值 后，ARMS就会自动拉取每个应用、每个接口对应指标的历史3天数据，然后通过N-sigma算法计算每个指标历史3天的均值和方差。具体来说，假设您的业务没有发生明显变化，因此可以假设指标服从一个正态分布，...
阈值检测
实现原理 当您单击 填入P4建议阈值 后，ARMS就会自动拉取每个应用、每个接口对应指标的历史3天数据，然后通过N-sigma算法计算每个指标历史3天的均值和方差。具体来说，假设您的业务没有发生明显变化，因此可以假设指标服从一个正态分布，...
- 产品推荐
- 这些文档可能帮助您