特征离散化
数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。在工业场景中，为了易于增减特征，模型更加稳定，会将连续特征离散化，并且离散化后的特征有很强的鲁棒性。应用场景：例如：一组数据需做离散化处理，分段间隔为0.5，对...
横向分箱
一、组件说明 横向分箱（HomoBinning），是一种横向场景下的数据预处理方法，用于将连续数据转化为离散数据。分箱的目的是为了减少异常值的影响和简化模型的复杂度，同时提高模型的稳定性和可解释性。横向分箱的基本思路是将一段连续的数据...
分箱
一、组件说明 分箱（Binning）是一种数据预处理方法，用于将连续数据转化为离散数据。分箱的目的是为了减少异常值的影响和简化模型的复杂度，同时提高模型的稳定性和可解释性。分箱的基本思路是将一段连续的数据划分为几个区间或者桶，然后...
基础散点图
图表样式 基础散点图是使用散点来展示数据的一种图表，支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示，适用于展示不同时间下离散数据的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置...
基础散点图
图表样式 基础散点图是使用散点来展示数据的一种图表，支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示，适用于展示不同时间下离散数据的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置...
气泡图
图表样式 气泡图是移动端组件中散点图的一种，与散点图相比，气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板...
气泡图
图表样式 气泡图是移动端组件中散点图的一种，与散点图相比，气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板...
气泡图（v3.0以下版本）
图表样式 气泡图是散点图的一种，与散点图相比，气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要...
基本散点图
图表样式 基本散点图是使用散点来展示数据的一种图表，适用于展示不同时间下离散数据的差异。基本散点图支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示。样式面板 搜索配置：单击 样式 面板右上角的...
基本散点图（v4.0及以上版本）
图表样式 基本散点图是使用散点来展示数据的一种图表，适用于展示不同时间下离散数据的差异。基本散点图支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示。配置面板 搜索配置：单击 配置 面板右上角的...
散点图（v3.0以下版本）
散点图是使用散点来展示数据的一种图表，支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示，适用于展示不同时间下离散数据的差异。本文介绍散点图各配置项的含义。配置 重要 本文介绍v3.0以下版本的...
气泡图（v3.x版本）
气泡图是散点图的一种，与散点图相比，气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。本文介绍气泡图各配置项的含义。配置 重要 本文介绍v3.x版本的气泡图的配置项，如需查看v3.0以下...
气泡图（v4.x版本）
气泡图是散点图的一种，与散点图相比，气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。本文介绍气泡图各配置项的含义。配置 重要 本文介绍v4.x版本的气泡图的配置项，如需查看5.0及以上...
散点图（v3.x版本）
散点图是使用散点来展示数据的一种图表，支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示，适用于展示不同时间下离散数据的差异。本文介绍散点图各配置项的含义。配置 重要 本文介绍v3.x版本的散点图...
气泡图
图表样式 气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项...
气泡图
图表样式 气泡图使用气泡来展示数据，且可以自定义气泡的大小，能够直观生动地展示多个时间下离散数据的差异。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置...
测试数据构建
维护生成测试数据脚本：成本高，且不通用每次都需要修改，数据离散性不足。生产环境数据导出后写入测试环境：数据不安全，存在泄露风险。实际开发过程中可能伴随频繁的数据准备过程，同时需要保障数据安全、数据的离散性特征可控、高效率。...
我是普通用户
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和...
我是安全管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中...
我是DBA
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
我是管理员
测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL、不规范SQL等，降低SQL注入风险。数据库克隆 数据库克隆功能提供MySQL数据库的克隆功能。集成...
数据转换模块
通过数据转换模块可以对数据进行归一化、离散化、Index化或WOE转换。配置组件 您可以使用以下任意一种方式，配置数据转换模块组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 输入表选择的特征...
了解相关功能
制作可视化应用时，您可能需要用到以下几种功能：空间插值 等值面组件 时间轴组件 空间插值 空间插值常用于将离散点的测量数据转换为连续的数据曲面，以便与其它空间现象的分布模式进行比较。通过空间差值，您可以根据已知的监测站点监测出...
分区表常见问题
按照租户ID进行分区的场景，可选择的分区类型有以下两种：HASH分区 适用于随机产生租户ID的场景，数据分布相对比较离散。分区数量设置可参考以下3种场景：随机产生的租户ID，一般是按照数据总量来计算单个分区的数据量，单个分区的数据量在...
基于分箱组件实现连续特征离散化
特征离散是将连续的数据进行分段，使其变为多个离散化区间。针对该场景，PAI推出了分箱组件和数据转换模块组件。首先使用分箱组件将连续特征离散化，再使用 数据转换模块 将原始数据从连续值转换为离散值。本文为您介绍如何使用Designer...
需求阶段
同时建议进行深入的数据探查，包括但不限于数据完整性、字段离散值分布情况、空值、零值、重复值占比等情况。技术可行性：评估当前已有数据模型能否支撑需求开发，如果不能，则需要规划模型改造方案，并充分评估其影响。同时在测试环境进行...
数据质量风险监控
监控分类：数据量、主键、离散值、汇总值、业务规则和逻辑规则。监控粒度：字段级别、表级别。监控层次：ODS、CDM、ADS三层数据，其中ODS和DWD层主要偏重数据的完整性和一致性。DWS和ADS层数据量较小、逻辑复杂，偏重数据的准确性。说明 如...
数据质量风险监控
监控分类：数据量、主键、离散值、汇总值、业务规则和逻辑规则。监控粒度：字段级别、表级别。监控层次：ODS、CDM、ADS三层数据，其中ODS和DWD层主要偏重数据的完整性和一致性。DWS和ADS层数据量较小、逻辑复杂，偏重数据的准确性。说明 如...
Label Encoder
Label Encoder的优点是简单易用，能够处理大部分的离散变量，且不会增加数据维度，适用于大部分的机器学习模型。但是，Label Encoder的缺点是无法处理离散变量之间的大小关系，仅仅是将离散变量转换为连续变量，可能会导致模型误判和偏差。...
横向LabelEncoder
Label Encoder的优点是简单易用，能够处理大部分的离散变量，且不会增加数据维度，适用于大部分的机器学习模型。但是，Label Encoder的缺点是无法处理离散变量之间的大小关系，仅仅是将离散变量转换为连续变量，可能会导致模型误判和偏差。...
特征离散
取值如下：Isometric Discretization（等距离散）Isofrequecy Discretization（等频离散）Gini-gain-based Discretization（基于Gini增益离散）Entropy-gain-based Discretization（基于熵增益离散）离散区间个数 离散区间的个数。...
产品优势
不支持 不支持 离散TTL 支持保留多个时间区段的数据。不支持 不支持 运维诊断 运维工具 界面化集群管理工具，支持表，Namespace，Group，ACL等管理，请参见 登录集群管理系统。HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL...
访问列存数据
重要 设置bucket分区字段时为避免数据倾斜，需确保bucket分区字段具有足够的离散特征。示例 创建表时仅指定bucket分区。示例一：USE lindorm_columnar;CREATE TABLE mydb.mytable(id INT NOT NULL,city STRING,name STRING,score DOUBLE)...
One-Hot编码
一、组件说明 One-Hot编码是一种将离散特征转换成连续特征的方法。它将一个有m个取值的离散特征转换为m个0/1特征，每个特征表示原离散特征是否等于该取值。例如，假设原始数据集有一个表示“颜色”的特征，包含三个不同的取值：红色、绿色...
横向One-Hot编码
一、组件说明 横向One-Hot编码是一种将离散特征转换成连续特征的方法，用于横向场景。它将一个有m个取值的离散特征转换为m个0/1特征，每个特征表示原离散特征是否等于该取值。例如，假设原始数据集有一个表示“颜色”的特征，包含三个不同...
ST_FrechetDistance
如果设置了densifyFrac参数，该函数在计算离散弗雷歇距离之前执行段致密化。每个段将被分成多个等长的子段，每个子段之于总段的比例接近给定的分数。当前实现仅支持将顶点视为离散位置，并且不限制点的数量。指定的densifyFrac越小，得到的...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
ST_FrechetDistance
如果设置了densifyFrac参数，该函数在计算离散弗雷歇距离之前执行段致密化。每个段将被分成多个等长的子段，每个子段之于总段的比例接近给定的分数。当前实现仅支持将顶点视为离散位置，并且不限制点的数量。指定的densifyFrac越小，得到的...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
- 产品推荐
- 这些文档可能帮助您