查看敏感数据识别结果
数据域：在 数据目录 页签左侧 数据域 区域，选择需要查看敏感数据识别结果的数据域。单击目标数据对象名称，查看该数据对象的更多信息。概览：在 概览 页签，查看数据对象的基本信息、管理信息和分类分级信息。您可以单击 分类分级 区域的...
Contextual Bandit 算法
利用 Bandit 算法设计的推荐算法可以较好地解决上述问题。根据是否考虑上下文特征，Bandit算法分为context-free bandit和contextual bandit两大类。算法伪代码（single-play bandit algorithm）：与传统方法的区别：每个候选商品学习一个...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
阶段一：基础防护建设
DB2201/T 17—2020》《证券期货业数据分类分级指引 JR/T 0158—2018》《信息安全技术健康医疗数据安全指南 GB/T 39725-2020》分级、分类标准确认完毕后，即可前往DataWorks数据保护伞模块配置分级分类、数据识别规则，步骤如下图。...
添加及管理识别结果
也可根据数据分类（或未指定分类）、数据分级、数据板块、项目、生效状态、锁定状态、识别方式进行精确筛选。② 列表区 为您展示识别结果的表、字段、所属项目/板块、数据分类、数据分级、生效状态/日期、识别方式信息。生效状态：生效状态...
添加及管理识别结果
也可根据数据分类（或未指定分类）、数据分级、数据板块、项目、生效状态、锁定状态、识别方式进行精确筛选。② 列表区 为您展示识别结果的表、字段、所属项目/板块、数据分类、数据分级、生效状态/日期、识别方式信息。生效状态：生效状态...
支持的数据源
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka至湖仓版（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS至湖仓版（推荐）大数据 Hive 数据迁移 Hive数据导入 相关文档 AnalyticDB...
推荐解决方案综述
深度学习推荐算法 在PAI-TensorFlow基础上，PAI开发了经典的深度学习推荐算法，即源码级开源的DeepFM代码，详情请参见 使用TensorFlow实现分布式DeepFM算法。DeepFM中详细描述了读取MaxCompute数据表、特征处理、构造Graph、训练及评估等...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Designer使用案例汇总
推荐算法定制 案例名称 描述 特征工程 介绍推荐算法定制生成的特征工程。DSSM向量召回 介绍推荐解决方案中生成的DSSM（Deep Structured Semantic Model）向量召回。排序 介绍推荐解决方案-排序的实现方法。基于etrec的U2I2I召回 介绍推荐...
MapReduce
机器学习：监督学习、无监督学习和分类算法（例如决策树、SVM）。自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程...
PAI-REC推荐算法定制的最佳实践文档
阅读指引：为方便用户快捷体验PAI-REC产品，本文提供了一份公开数据集，用户可按照文档说明按步体验PAI-REC推荐算法定制的召回、特征工程、精排等关键功能的配置，生成代码并部署到 DataWorks 相应的业务流程中。1.克隆公开数据集 我们在可...
时序异常检测的常见问题
当前Lindorm ML主要提供两类算法：统计类算法和分解类算法，更多请参见 时序异常检测算法分类。如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），...
基于对象特征的推荐
其中一份作为训练数据，通过分类算法生成二分类模型。另一份作为预测数据，通过预测组件对模型效果进行测试。通过评估组件，获得模型效果。数据集 本数据源由天池大赛提供，根据时间将其分为4月份和5月份的购买行为数据和6月份的购买行为...
使用Grafana进行异常检测算法调优
当前Lindorm ML主要提供两类算法：统计类算法和分解类算法，更多请参见 时序异常检测算法分类。如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），...
使用Grafana进行异常检测算法调优
当前Lindorm ML主要提供两类算法：统计类算法和分解类算法，更多请参见 时序异常检测算法分类。如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），...
使用Grafana进行异常检测算法调优
当前Lindorm ML主要提供两类算法：统计类算法和分解类算法，更多请参见 时序异常检测算法分类。如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），...
概览
面向AIGC中文文生图模型的WebUI使用 AI个人写真 推荐算法定制概述 推荐解决方案综述 灵骏智算资源组使用指南 智能文创解决方案 智能货柜商品分析解决方案 机器阅读理解解决方案 多模态检索解决方案 工业质检解决方案 图像内容风控解决方案 ...
数据源
完成基本信息配置后，需要向AIRec传入行为/用户/物品数据，这是推荐算法运行过程必要的输入。本文主要介绍数据源的管理和数据接入环节常见问题的诊断方法。一、原始数据源配置 AIRec有两类数据源：启动数据源和实时数据源。启动数据源是在...
应用场景
商品推荐 基于图的推荐算法是当前推荐系统中的一种重要的技术方向，在兼顾了推荐精度的同时，还能让模型具备较好的可解释性。通过图的共性关系发现和分析方法，通过计算共同邻居数进行相似节点推荐。适用于电商、保险的商品推荐场景。社交...
概述
基于 PolarDB for AI 的智能推荐算法和知识图谱技术，再结合阿里巴巴电商策略，为企业提供贯穿推荐能力的一站式服务，助力企业快速过渡冷启动过程。面向不同的业务场景定制个性化解决方案，持续提升核心业务能力，以实现业务营收增长。优势...
新建及管理动态脱敏规则
③ 动态脱敏规则列表 为您展示脱敏规则的名称、数据分类、脱敏算法、应用场景、负责人、更新时间、生效状态信息，同时您可以在 操作 列对动态脱敏规则执行 编辑、转交、删除、查看脱敏算法、查看脱敏白名单 操作。生效状态：决定当前脱敏...
新建及管理动态脱敏规则
③ 动态脱敏规则列表 为您展示脱敏规则的名称、数据分类、脱敏算法、应用场景、负责人、更新时间、生效状态信息，同时您可以在 操作 列对动态脱敏规则执行 编辑、转交、删除、查看脱敏算法、查看脱敏白名单 操作。生效状态：决定当前脱敏...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
公告
数据标准新增批量导出数据标准功能；支持通过Excel批量导入已映射关系并查看导入记录；支持在数据标准配置质量监控；支持配置全局落标评估任务。资产质量支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，...
LightGBM算法
本文介绍了LightGBM算法相关内容。简介 LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的分布式梯度提升框架。设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据...
视频分类训练
针对原始视频数据，您可以使用视频分类训练算法组件对其进行模型训练，从而获得用于推理的视频分类模型。本文介绍视频分类训练算法组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：...
支持的数据脱敏算法
算法分类 分类描述 算法描述 输入参数 适用类型和典型场景 哈希脱敏 不可逆算法。适用于密码或需要通过对比进行敏感数据确认的场景。支持常见的哈希算法，并支持偏移量（加盐值）配置。MD5 Salt值 敏感类型：密钥类 适用场景：数据存储 SHA...
组件参考：所有组件汇总
逻辑回归多分类 该组件是一个二分类算法，PAI提供的逻辑回归可以支持多分类，且支持稀疏及稠密数据格式。随机森林 该组件是一个包括多决策树的分类器，其分类结果由单棵树输出类别的众数决定。朴素贝叶斯 该组件是一种基于独立假设的贝叶斯...
创建和管理IPsec连接（双隧道模式）
3des 是三重数据加密算法，加密时间较长且算法复杂度较高，运算量较大，相比aes会降低转发性能。认证算法 选择第一阶段协商使用的认证算法。如果IPsec连接绑定的为普通型VPN网关，则认证算法支持 sha1（默认值）、md5、sha256、sha384 和 ...
什么是推荐全链路深度定制开发平台PAI-REC
使用PAI-REC建设推荐系统的特点是：白盒化：提供大量源代码，让用户理解推荐算法细节，可自定义代码灵活满足业务需求 推荐算法定制：只需配置用户表、物品表、行为表，即可生成召回、排序脚本和配置文件 提供完整的引擎管理和实验管理...
产品简介
该产品支持文本实体抽取、文本分类、关键短语抽取、情感分析、关系抽取、短文本匹配、商品评价解析等NLP定制化算法能力，用户无需拥有丰富的算法背景，仅需标注或上传适量文档数据，即可通过平台获得优质的NLP算法模型。三 企业智能搜索 ...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
功能更新动态（2024年）
创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以命中脱敏算法，提升数据...
基于Alink框架的FM推荐
FM（Factorization Machine）算法兼顾特征之间的相互作用，是一种非线性模型，适用于电商、广告及直播等推荐场景。Designer 预置了FM算法模板，便于您快速构建基于Alink框架的FM推荐模型，快速实现推荐系统并应用于上述场景。本文为您介绍...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
GBDT二分类V2
梯度提升决策树(Gradient Boosting Decision Trees)二分类，是经典的基于梯度提升（Gradient Boosting）的有监督学习模型，可以用来解决二分类问题。支持计算资源 支持的计算引擎为MaxCompute。算法简介 梯度提升决策树(Gradient Boosting ...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
- 产品推荐
- 这些文档可能帮助您