支持的数据脱敏算法
本文介绍支持的数据脱敏算法。算法分类 分类描述 算法描述 输入参数 适用类型和典型场景 哈希脱敏 不可逆算法。适用于密码或需要通过对比进行敏感数据确认的场景。支持常见的哈希算法，并支持偏移量（加盐值）配置。MD5 Salt值 敏感类型：...
设置列存数据压缩算法
LZ4：一种无损数据压缩算法，压缩速度大于每核500 MB/s。具体可参见 LZ4 GitHub。ZSTD（全称Zstandard）：一种无损数据压缩算法，压缩速度与LZ4相当。具体可参见 Zstandard GitHub。建表时设置压缩算法 语法：在建表时，您只需要在 CREATE ...
Dataphin中重装项目安全策略...数据、脱敏规则、脱敏算法
概述 本文主要介绍Dataphin中重装资产安全策略是否会影响现有的敏感数据、脱敏规则、脱敏算法等。详细信息 重装不会影响当前已经识别到或创建好的敏感数据、识别规则、脱敏规则等。重装过程中，会清理掉内置的脱敏算法，再重新安装最新版本...
配置脱敏模板和算法
数据安全中心（Data Security Center，简称DSC）支持配置脱敏模板和脱敏算法。您可以将使用频率较高且应用场景相同的脱敏算法配置在同一个脱敏模板中，并在配置静态脱敏规则时使用已有模板，提高配置脱敏规则的效率。本文介绍如何配置脱敏...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
时序异常检测
数据服务提供时序异常检测算法，采用智能时序算法，实时分析设备时序数据，准确感知设备异常现象。查看基本信息 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例卡片。...算法的 使用流程 创建算法实例 配置算法实例 查看实例运维
数据智能概述
算法模板 物联网平台提供算法模板供您使用，您可以查看算法模板的详情信息，如：算法详细介绍、运行算法所需数据、算法产出的数据等。实例管理 您可以在算法实例页面，根据实际业务需求购买算法实例和对已购买的算法实例进行续费和升配。...
使用pgcrypto及国密SM4加密算法
AnalyticDB PostgreSQL版 内置加密解密模块pgcryoto并集成国密SM4加密算法，允许数据库用户以加密形式存储数据的某些列，为敏感数据增加了一层额外的保护。无密钥时，任何用户都无法读取以加密形式存储在数据库中的数据。注意事项 pgcrypto...
机器学习开发示例
数据展示%pyspark#数据展示 ml_data.show()ML算法数据打印 步骤四：建立模型、运行线性回归模 说明 在本部分中，您将使用不同的正则化参数运行两个不同的线性回归模型，以基于人口（features）确定这两个模型中的任何一个对销售价格（label...
Redis过期Key的逐出策略
Redis过期Key清理策略 清理过期Key的算法 数据逐出算法 使用Redis的注意事项 详细信息 Redis过期Key清理策略 为了防止一次性清理大量过期Key导致Redis服务受影响，Redis会在CPU空闲时清理过期Key。具体Redis逐出过期Key的策略如下所示：...
功能特性
开通敏感数据保护 管理敏感数据 管理分类分级模板 管理识别模型 新增脱敏算法 数据水印 可用于数据的散布或分发过程中追溯源头，其包含水印嵌入和水印提取。水印嵌入是指将标识信息嵌入到数据或文件中，使其具备一定的标识度；水印提取是指...
组件参考：所有组件汇总
IForest异常检测 该组件使用sub-sampling算法，降低了算法的计算复杂度，可以识别数据中的异常点，在异常检测领域有显著的应用效果。One-Class SVM异常检测 该组件与传统SVM不同，是一种非监督的学习算法。您可以使用One-Class SVM异常检测...
创建三维城市
可选，如果您需要配置算法参数，可单击 添加图层 弹窗右上角的 高级配置，在不同的城市基底数据和业务数据的参数编辑器内，查看或修改对应数据算法参数内容。单击 添加图层 弹窗右下角的 确定 即可完成三维城市的创建，并进入项目载入页面...
创建三维城市场景项目
如果您需要配置算法参数，可单击 添加图层 对话框右上角的 高级配置，在不同的城市基底数据和业务数据的参数编辑器内，查看或修改对应数据算法参数内容。单击 添加图层 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
创建三维城市场景项目
如果您需要配置算法参数，可单击 添加图层 对话框右上角的 高级配置，在不同的城市基底数据和业务数据的参数编辑器内，查看或修改对应数据算法参数内容。单击 添加图层 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
安全算法
安全算法运用哈希脱敏、遮盖掩码、加解密等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理且保持数据原有格式，本文为您介绍如何查看和测试系统内置的安全算法。查看安全算法 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作...
安全算法
安全算法运用哈希脱敏、遮盖掩码、加解密等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理且保持数据原有格式，本文为您介绍如何查看和测试系统内置的安全算法。查看安全算法 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作...
滤波
其他说明 采样数据预处理：根据采样方式获取到采样数据后，算法将剔除所有无效的采样数据，只保留有效的采样数据进行滤波计算。输出后处理：当输出质量码为好值时，则输出当前滤波计算值。当输出质量码为坏值时，则输出前一次输出值（初始...
新增脱敏算法
敏感数据保护功能提供了哈希、遮掩、替换、变换、加密五类脱敏算法，您可以基于某个内置的脱敏算法自定义不同的脱敏规则，从而形成灵活、多样的脱敏策略。敏感数据保护功能中内置了一个全遮掩的脱敏规则，如果您需要其他的脱敏方式，可以...
MaxCompute（原ODPS）数据源配置
开放数据处理服务MaxCompute（原ODPS）是一个开放的计算平台，如果您要导入到OpenSearch-行业算法版的数据是由MaxCompute平台计算而产生的，则可以在应用中配置MaxCompute源信息，在触发应用索引重建任务后，系统会自动去获取 MaxCompute ...
配置路由算法
使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 数据管理DMS 分表路由算法采用Groovy表达式方式定义，与应用代码里使用配置的路由算法类似。表达式格式：#路由字段+。例如#shardKey#。配置路由算法 如下操作展示如何配置简单取...
路由算法
本文介绍路由算法的定义、使用场景等内容。定义 路由算法是减少路由时开销的一种算法，可以通过给逻辑库配置路由算法，实现...使用场景 分表数据查询 分表数据变更 分表数据导出 配置说明 您可通过目标逻辑库找到对应的逻辑表，修改路由算法。
静态脱敏
系统支持在代码任务中引用脱敏算法函数脱敏字段，将脱敏后的数据写入开发环境或生产环境的目标表。静态脱敏入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 静态脱敏 页面。静态脱敏操作指引 步骤一：安装算法包 在...
步骤二：添加算法语句
通过算法语句或者上传脚本来处理数据，本文介绍如何输入算法语句或者上传资源文件。操作步骤 根据选择的节点类型，选择下述两种方式的其中一种，添加算法语句。方式一：输入算法语句 在节点编辑页面，输入算法语句，这里以MaxCompute SQL为...
数据采集2.0
通过开放搜索为用户提供的算法平台，可以将这些搜索行为反馈数据应用在搜索排序算法模型训练中，不断地提升搜索效果。注意事项 数据采集功能会在实例应用创建完成后自动开通 数据，目前主要指终端用户对搜索结果的行为反馈数据 采集，目前...
安全算法示例
加解密算法高级设置范围 加解密算法 模式 填充 IV（偏移量）备注 AES ECB NoPadding 不支持 加密数据长度必须为16的倍数 AES ECB PKCS5Padding 不支持 推荐 AES ECB PKCS7Padding 不支持 无 AES CBC NoPadding 长度必须为16位 加密数据长度...
安全算法示例
加解密算法高级设置范围 加解密算法 模式 填充 IV（偏移量）备注 AES ECB NoPadding 不支持 加密数据长度必须为16的倍数 AES ECB PKCS5Padding 不支持 推荐 AES ECB PKCS7Padding 不支持 无 AES CBC NoPadding 长度必须为16位 加密数据长度...
步骤二：添加算法语句
通过算法语句或者上传脚本来处理数据，本文介绍如何输入算法语句或者上传资源文件。操作步骤 根据选择的节点类型，选择下述两种方式的其中一种，添加算法语句。方式一：输入算法语句 在节点编辑页面，输入算法语句，这里以MaxCompute SQL为...
Quick BI数据集中新建计算字段无法引用已经创建的计算...
问题描述 Quick BI数据集中新建计算字段无法引用已经创建的计算字段。已经创建的计算字段在度量中不显示。问题原因 1.计算字段引用层级不能超过5层；2.计算字段引用不能形成环。解决方案 计算字段引用层级控制在5层以内。适用于 Quick BI
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
引用物理表质量规则
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理表监控明细查看运行结果。本文介绍如何引用逻辑表质量规则。前提条件 已搭建算法流程，具体操作，请参见 新建开发环境场景并部署运行。算法...
数据安全
在IPsec-VPN连接传输数据的过程中，将使用AES、DES等算法加密数据，使用SHA、MD5等哈希函数进行身份认证，使用DH分组进行密钥交换。您在创建IPsec连接时可以指定加密算法、认证算法和DH分组，关于IPsec-VPN连接具体支持的加密算法、认证...
引用物理表质量规则
当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理表监控明细查看运行结果。本文介绍如何引用逻辑表质量规则。前提条件 已搭建算法流程，具体操作，请参见 新建开发环境场景并部署运行。算法...
新建洞察分析
洞察分析可自动通过一系列AI算法对数据内容进行洞察分析，自动生成分析结论。本文介绍如何新建洞察分析。前提条件 已完成新建数据集。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 洞察。在顶部菜单栏，选择 洞察分析...
限制说明
数据过期策略 和开源 Memcached 策略一致，采用 LRU 算法过期数据，但已过期数据不会被立即删除回收空间，回收空间操作由后台程序定期执行。连接处理 云数据库 Memcache 版服务端不会主动关闭空闲的客户端连接。数据过期 Key 过期时间建议...
名词解释
算法（AlgoLib）平台内置或者用户自建的算法库信息。算法能力集（Capability）算法输出结构化数据的能力，如行人、非机动车等。资源配置参数（ResourceProfile）资源配置参数指定了计算工作组运行依赖的各项系统默认配置参数。视频流...
调整实例WRITESET相关参数
开启 WRITESET 后，将使用此算法计算出的数据行哈希值，判断事务之间是否修改了相同的数据行。默认值：XXHASH64 可选值及含义：OFF：不计算数据行的哈希值，要求 WRITESET 处于关闭状态。XXHASH64：使用64位的 Hash 算法计算数据行的哈希值...
数据脱敏
数据解密：可逆算法，适用于对需要回源的字段进行解密的场景。支持常见的对称加密算法。常见的不可逆脱敏算法和方式如下：哈希脱敏：不可逆算法，适用于密码或需要通过对比进行敏感数据确认的场景。支持常见的哈希算法，并支持偏移量（加盐...
- 产品推荐
- 这些文档可能帮助您