通过控制台使用宽表模型
购买预留模式实例 在 预留模式 页签，单击 前往购买，根据下表说明购买并配置 表格存储 标准实例后，单击 立即购买。参数 描述 商品类型 只支持 预留模式。地域 实例所属地域。VCU 根据预估资源，选择购买的VCU数。使用预留模式时，所有的...
5.6/5.7/8.0版功能对比
✔️ ✔️ 数据同步 功能 集群版 多主集群（库表）数据同步 ✔️ ✔️ 集群管理 功能 集群版 多主集群（库表）购买按量付费集群 和 购买包年包月集群 ✔️ ✔️ 释放集群 ✔️ ✔️ 克隆集群 ✔️ ✔️ 开启Binlog ✔️ ✔️ 设置可维护...
特征重要性过滤
否 weightTable 特征重要性的权重表（即线性特征重要性、GBDT特征重要性、随机森林特征重要性的输出表）。是 outputTable 过滤出TopN特征的输出表。是 modelTable 特征过滤产出的模型文件。是 selectedCols 默认输入表的所有字段列名。否 ...
步骤二：开发事实逻辑表
本文为您介绍如何基于本教程完成 下单购买事实逻辑表（fct_order_buy_di）开发。步骤一：新建事实逻辑表 在Dataphin首页，单击顶部菜单栏的 开发。按照下图操作指引，进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面，配置相关参数。...
步骤二：开发事实逻辑表
本文为您介绍如何基于本教程完成 下单购买事实逻辑表（fct_order_buy_di）开发。步骤一：新建事实逻辑表 在Dataphin首页，单击顶部菜单栏的 开发。按照下图操作指引，进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面，配置相关参数。...
数据归档至Lindorm
已购买Lindorm宽表引擎2.2.17及以上版本。购买操作，请参见 创建实例。已将目标库Lindorm录入DMS中，录入时选择Lindorm-SQL。具体操作，请参见 云数据库录入。需要归档的源表必须存在主键或者唯一键。说明 建议源表中包含修改时间的字段，...
数据归档至Lindorm
已购买Lindorm宽表引擎2.2.17及以上版本。购买操作，请参见 创建实例。已将目标库Lindorm录入DMS中，录入时选择Lindorm-SQL。具体操作，请参见 云数据库录入。需要归档的源表必须存在主键或者唯一键。说明 建议源表中包含修改时间的字段，...
汇总数据层（DWS）
查询汇总逻辑表 逻辑表运维包括 逻辑表任务 和 逻辑表实例：逻辑表任务 用于从逻辑表视角切入，为您展现逻辑表内部任务关系，详情请参见 逻辑表任务。逻辑表实例 用于查看已运行的逻辑表任务包含的节点实例及其状态，详情请参见 逻辑表实例...
深度解析PolarDB数据库并行查询技术
以HASH JOIN为例，对于串行执行的HASH JOIN来说，首先选择一个表创建HASH表称之为Build表，然后读取另一个Probe表，计算HASH，并在Build表中进行HASH匹配，若匹配成功，输出结果，否则继续读取。如果改为并行HASH JOIN，并行优化器会对串行...
迁移HBase至Hologres
基于分布式文件系统Pangu/HDFS，存储能力与集群规模有关，支持线性扩展，单表最大容量3PB+；多种存储模式和多种压缩算法赋能存储。查询及分析能力 原生仅支持点查(GET)和扫描(SCAN)。点查每秒查询率（QPS，Queries per second）高，SCAN...
通过文件管理优化性能
具体来看，当整张表的大小小于2.56TB时，会以256MB作为目标表文件大小，当表的大小介于2.56TB-10TB之间时，目标文件大小线性增长，当表的大小大于10TB后，以1GB作为目标表文件大小。需要注意的是，如果设置了表属性：delta.targetFileSize ...
ALTER TABLE
当被设置为一个负值（必须大于等于-1）时，ANALYZE 将假定可区分非空值的数量与表的尺寸成线性比例，确切的计数由估计的表尺寸乘以给定数字的绝对值计算得到。例如，值-1 表示该列中所有的值都是可区分的，而值-0.5 则表示每一个值平均出现...
定义向量列（2.0版）
算法 适用场景 适用数据 Native_FLAT（SSE线性计算）适用于单表数据量小于10万条、向量维度为256左右的小数据量场景。int[]、short[]、byte[]、float[]GRAPH_HNSW 适用于单表数据量在百万级别到千万级别之间，对向量维度敏感的中等规模数据...
MaxCompute分区表数据导入
前提条件 已购买并开通Hologres实例，开通方法请参见 购买Hologres。已开通MaxCompute并创建项目，详情请参见 开通MaxCompute和DataWorks。已开通DataWorks服务并创建DataWorks工作空间，详情请参见 创建工作空间。背景信息 通过Hologres中...
示例项目使用说明
MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS数据实例 Spark SparkPi：计算Pi SparkWordCount：单词统计 LinearRegression：线性回归 OSSSample：OSS使用示例 MaxComputeSample：MaxCompute...
常见问题FAQ
优化求解器当前可以快速求解大规模线性规划LP、混合整数线性规划MILP、凸二次规划QP问题，目前支持命令行和C、C++、Python、Java的API调用，可在Windows，macOS和Linux系统下使用。有示例代码和案例分析讲解如何使用，免费。运行产生异常请...
购买力标签
购买力标签是基于导入的或上报后存储的用户行为表、订单明细表数据，将用户的订单金额/次数/互动行为的统计值作为标签值。例如：近一年的累计购买金额/购买件数/订单数、平均/最高/最低订单金额或件数。创建购买力标签 购买力标签基于用户...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
Quick Audience数据集样例
行为类型、行为渠道的维表结构参考下表：id 行为类型 1 购买 2 加购 3 浏览 4 收藏.行为对象属性的维表结构分两种：每个属性一个维表：将同一个属性的属性值保存为一列，维表结构参考上表。若属性为商品，可以利用商品标签表作为维表。所有...
在线多表join快速搭建
配置多表join 步骤：创建并购买应用 配置应用：定义应用结构->定义索引结构->配置数据源->创建成功 搜索测试 创建应用 登录 OpenSearch控制台，页面左上角选择“OpenSearch-高性能检索版”，进入“实例管理”页，点击“创建应用”：选择...
创建AnalyticDB for PostgreSQL表
前提条件 您需要购买DataWorks标准版及以上版本，才可以绑定AnalyticDB for PostgreSQL计算引擎实例。请根据业务需求新增独享调度资源组 或自定义资源组，详情请参见 新增和使用独享调度资源组 或 新增和使用自定义调度资源组。绑定...
线性模型特征重要性
线性模型特征重要性组件用于计算线性模型的特征重要性，包括线性回归和二分类逻辑回归，支持稀疏和稠密数据格式。本文为您介绍该组件的配置方法。使用限制 支持的计算引擎为MaxCompute。组件配置 您可以使用以下任意一种方式，配置线性模型...
DBLE与PolarDB多主集群（库表）结合使用最佳实践
QPS与MPS：TPS与CPU使用率：如果业务的写入以显式事务（autoCommit=0）为主，PolarDB多主集群（库表）结合DBLE可以实现仅次于线性的性能提升。以256个线程进行写入测试，弹性扩容效果如下：QPS与MPS：TPS与CPU使用率：
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
新建离线物理表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。步骤一：离线物理表 在...
新建普通维度逻辑表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务...
新建普通维度逻辑表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务...
新建事实逻辑表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务...
新建事实逻辑表
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务...
数据导入快速入门
您购买Quick Audience后，需要将数据表导入系统，才能开始利用您的数据进行用户洞察分析等操作。为了快速地开始使用Quick Audience，我们以空间管理员为例，说明如何快速地配置计算源和分析源，导入用户标签表。前提条件 主账号已购买Quick...
2021年
该参数在低QPS场景下，对于执行时间较长（超过3秒）的计算密集型查询有线性提升，典型场景为单表聚合查询（TPCH Q1、Q6）、大表与小表的JOIN。对于I/O密集型查询和性能瓶颈为落盘的场景，提升有限。对于网络密集型查询，可能会影响性能。无...
数据导入性能优化
解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据倾斜时，集群部分节点负载过高，影响导入性能。此时，集群CPU使用率、磁盘IO使用率处于较低水位，...
数据导入性能优化
解决方法：调大单次导入的 批量插入条数 及增加 任务期望最大并发数，数据导入性能会随着导入压力的增加而线性增加。当导入的目标表存在数据倾斜时，集群部分节点负载过高，影响导入性能。此时，集群CPU使用率、磁盘IO使用率处于较低水位，...
数据归档至PolarDB MySQL版
归档表映射 否 您可以单击表名操作列下的 编辑，编辑源表归档到目标库后的表名、列信息、分库键和分区键。变量配置 否 配置该变量可以在配置归档过滤条件时使用。例如，时间变量为 6_month_ago，时间格式为yyyy-MM-dd，偏移量设置为-6月。...
新建行为数据集
对于多个行为对象属性，当选择 所有属性一个维表 时，可以仅添加一个维表，数据研发同学只需要加工一张行为对象属性维表即可，即所有的对象属性都在一张表里面；当选择 每个属性一个维表 时，需要为每一个行为对象属性单独添加一个维表。如...
基本概念（V4）
购买力标签：基于 用户行为表、订单明细表 数据，将用户的订单金额/次数/互动行为的统计值作为标签值。例如：近一年的累计购买金额/购买件数/订单数、平均/最高/最低订单金额。用户阶段标签：按照您需要的用户分层逻辑对用户进行筛选，类似...
one-hot编码
输出节点：该组件有两个输出节点，一个是编码后的结果数据表（左），另一个是模型表（右），该模型表用于对同类型的新数据进行one-hot编码。one-hot编码组件预测功能 one-hot组件的第二个输入节点（右）是one-hot的模型输入，可以利用已有...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
PS线性回归
线性回归（Linear Regression）是分析因变量和多个自变量之间的线性关系模型，参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务。PS线性回归支持千亿样本、十亿特征的大规模线性训练任务。组件配置 您可以使用以下...
Proxy与PolarDB多主集群（库表）结合使用最佳实践
QPS与MPS：TPS与CPU使用率：如果业务的写入以显式事务（autoCommit=0）为主，PolarDB多主集群（库表）结合ShardingSphere-Proxy可以实现仅次于线性的性能提升。以256个线程进行写入测试，弹性扩容效果如下：配置较短的超时时间。QPS与MPS：...
- 产品推荐
- 这些文档可能帮助您