使用日志聚类
您还可以将聚类结果以分析图表的形式保存在仪表盘中，实时查看聚类数据。更多信息，请参见 日志聚类。开启日志聚类 在 日志聚类 页签，单击 开启日志聚类。在 开启日志聚类 对话框，单击 确认。开启后等待1分钟左右，即可对新写入的数据...
日志聚类
您还可以将聚类结果以分析图表的形式保存在仪表盘中，实时查看聚类数据。功能优势 支持任意格式日志，例如Log4j、JSON、单行等。亿级数据，秒级输出结果。日志数据可以按任意模式聚类。按pattern聚类的数据可以根据pattern的签名反查原始...
无监督聚类函数
函数示例：设备数据聚类 下载经过处理的设备使用信息。同一类型的物联网设备被不同群体的用户使用，可能具有不同的数据特征。通过对设备上报的数据进行聚类分析，有助于分析业务中出现的用户画像。将数据导入到数据服务的自定义存储表中，...
DBSCAN聚类
是 自动 自动 球树 KD树 暴力搜索 聚类效果 聚类效果展示当前数据聚类处理后的效果。可在组件运行成功后查看。“CH分数（即Calinski-Harabasz指标）”和“轮廓系数”反应聚类效果，值越大，说明聚类效果越好。可参考其结果调整组件参数配置...
时序聚类函数
时序聚类函数针对输入的多条时序数据进行聚类，自动聚类出不同的曲线形态，进而快速找到相应的聚类中心和异于聚类中的其它形态曲线。关于函数的算法及实现原理请参见 LOG机器学习介绍（02）：时序聚类建模。函数列表 函数 说明 ts_density_...
概述
时序聚类函数 ts_density_cluster 使用密度聚类方法对多条时序数据进行聚类。ts_hierarchical_cluster 使用层次聚类方法对多条时序数据进行聚类。ts_similar_instance 查找到指定曲线名称的相似曲线。核密度估计函数 kernel_density_...
数据模型
基本概念 物联网、应用监控、工业互联网等典型的时序场景下，数据源（Data Source）通常按一定的周期持续产生时序数据，一条时序数据由Tag、Timestamp、Field等元素共同来描述，具有相同特征的一类数据存放在同一张表中，表的时序数据元素...
算法说明
哈希聚类算法 哈希聚类算法基于日志聚类功能，日志聚类功能对日志数据进行在线聚类，哈希聚类算法在 日志聚类 结果的基础上进行二次聚类，同时持续分析、监控日志数据。哈希聚类算法不依赖外部日志模板库。相似度匹配算法 相似度匹配算法...
K均值聚类
功能说明 K均值聚类是一种矢量量化方法，在数据挖掘的聚类分析中很流行。K均值聚类通过试图分离 n 个相等方差组的样本来聚集数据，用最小化或者簇内和平方的标准。该算法需要指定簇的数量，它可以很好地扩展到大量样本，并已经被广泛应用于...
GMM聚类
图：GMM聚类过程 参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征变量。是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。IGateInOffline组件。平台上其他数据处理组件。按照平台...
K均值聚类算法（K-Means）
该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，将每一个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类。即K-Means算法将输入表的...
查看仪表盘
接入机器的配置数据和监控指标数据后，SREWorks数智服务会基于您的指标数据，自动生成相应的仪表盘，便于您查看集群总览指标和单机指标详情，进行机器热点分析和聚类分析等。前提条件 已接入机器的配置数据和监控指标数据。具体操作，请...
聚类标注功能使用介绍
聚类标注结果会通过优化知识数据而优化算法和匹配机制的运用效果，但并不会直接作用于算法和匹配机制。基本功能实现介绍 功能入口 在左侧导航栏，选择 运营中心>问答标注>聚类标注，进入聚类标注界面，具体界面如下：待标注内容查看 进入聚...
新旧版本使用指引
CreateFacesSearchingTask-创建相似人脸图片检索任务 FindSimilarFaces-查找和指定人脸相似的人脸-时空聚类 时空聚类 无 新版支持基于数据集中照片的拍摄时间、地理位置等元数据信息创建时空聚类分组，并对聚类分组进行查询，更新和删除...
高维向量检索（PASE）
取值范围为(0,1000]内的整数，例如值为1，表示对表中的数据按照千分之一的比例采样后进行kmeans聚类。值越大查询准确率越高，但创建索引的时间越长，建议采样的数据总量不要超过10万条。k：聚类中心数，值越大查询准确率越高，但创建索引...
高维向量检索（PASE）
取值范围为(0,1000]内的整数，例如值为1，表示对表中的数据按照千分之一的比例采样后进行kmeans聚类。值越大查询准确率越高，但创建索引的时间越长，建议采样的数据总量不要超过10万条。k：聚类中心数，值越大查询准确率越高，但创建索引...
高效向量检索（PASE）
取值范围为(0,1000]内的整数，例如值为1，表示对表中的数据按照千分之一的比例采样后进行kmeans聚类。值越大查询准确率越高，但创建索引的时间越长，建议采样的数据总量不要超过10万条。k：聚类中心数，值越大查询准确率越高，但创建索引...
横向聚类
一、组件说明 横向聚类组件是横向场景下的一种无监督机器学习算法，用于将n个数据点分成k个簇，使得簇内的数据点具有高度相似性。聚类算法通过度量数据点之前的相似性或距离来确定数据点之间的关系，将相似的数据点划分到同一簇中。适用于...
API概览
图片聚类 图片聚类 CreateSimilarImageClusteringTask 创建相似图片聚类任务 相似图片聚类功能，可以将您已索引到数据集内的图片按照相似度生成聚类，用于图片去重、选优等场景，例如可以通过该功能筛选相册中连拍的图片。...
分区索引
业务数据有明显的聚类特性，例如商家数据表以商家ID为聚类，查询条件中包括商家ID。IoT设备数据表以设备ID为聚类，查询条件中包括设备ID。数据分区策略 HASH分区 时间范围分区 多级HASH分区（高级用法）准备工作 使用分区索引前需要创建...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
数据类型
QUANTILE_STATE/QUANTILE_STATE是一种计算分位数近似值的类型，在导入时会对相同的Key，不同Value进行预聚合，当Value数量不超过2048时采用明细记录所有数据，当Value数量大于2048时采用TDigest算法，对数据进行聚合（聚类）保存聚类后的...
查看数据分类预置模型
金融模型：包括 业务类（账号信息、金融监管和服务、交易信息、合约协议、法定数字货币钱包信息）、客户类（个人、单位）、经营管理类（综合管理、运营管理、营销服务、技术管理、风险管理信息）。通用和金融模型的页面展示一致，下面以 ...
查看数据分类预置模型
金融模型：包括 业务类（账号信息、金融监管和服务、交易信息、合约协议、法定数字货币钱包信息）、客户类（个人、单位）、经营管理类（综合管理、运营管理、营销服务、技术管理、风险管理信息）。通用和金融模型的页面展示一致，下面以 ...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
Centauri对比
16亿*16亿数据集规模过大，只有CE的聚类分片方式可以成功运行，以下为基本运行数据信息。测试方法 聚类/AutoTunning耗时（秒）Build耗时（秒）Seek耗时（秒）Centauri 1127 19962 跑了两次均失败，OOM。CE 哈希 无 14637 跑了一次均失败，...
配置敏感数据分类分级
数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分，不同敏感级别的数据其管控原则和数据开发要求存在差异，划分分类分级后，后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...
聚类分片
Proxima CE支持使用聚类分片方式检索任务，本文为您介绍聚类分片检索功能的使用方法及示例。前提条件 已安装Proxima CE包并准备输入表，详情请参见 安装Proxima CE包。基本原理 Proxima CE在检索时有两种划分数据分片的方式：哈希分片与聚...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
快速实现数据分类分级
数据安全中心DSC（Data Security Center）是一款数据安全中心产品，可以通过收集和分析数据库的信息，提供云上数据的分类分级（包括敏感数据识别）能力。本文介绍如何快速在DSC控制台实现数据分类分级。前提条件 已规划好要接入数据安全...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
查看敏感数据识别结果
敏感数据识别任务扫描完成后，您可以查看敏感数据识别结果。数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 ...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
- 产品推荐
- 这些文档可能帮助您