元数据抽取
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时，采取...
Quick BI关于图表查优的相关方法和功能实现介绍
二、Quick BI引擎（抽取加速）：抽取加速基于您的数据集查询结果集，将数据从用户数据库抽取到Quick BI引擎中内部存储，实现查询加速的效果（公共云SaaS环境不同版本对于抽取容量和单次抽取数量有不同限制，独立部署用户需单独购买该功能）...
Quick引擎概述
Quick引擎架构在数据源和数据集之间，用来处理上层数据作品发送到数据集最终下放到数据源上的查询，在技术实现上Quick引擎分为三条链路，数据库直连模式、数据库抽取模式和智能缓存，在这三条链路进行了技术层抽象。多模式BI计算引擎 Quick...
流程控制-随机分组组件
例如：随机抽取20%、30%、50%的人群发不同的优惠券。配置步骤：单击随机分组组件，在右侧弹出的面板中进行配置，如下图所示。输入步骤名称。为每个分组设置分组名称和人数占比，单击 新建分组 可以增加一个分组。说明 支持设置2~30个分组，...
CLUSTER_SAMPLE
命令格式 boolean cluster_sample(bigint)OVER([partition_clause])boolean cluster_sample(bigint,bigint)OVER([partition_clause])命令说明 cluster_sample(bigint)：表示随机抽取N条数据。cluster_sample(bigint,bigint)：表示按比例（M...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
哈希分片全链路测试
按类型生产随机数据集，数据集的基本信息如下表，其中每个数据集的query从doc数据中随机抽取100条。数据类型 维数 数量 数值范围 FLOAT 128 10W(0,1)INT8 128 10W(-128,127)BINARY 512 10W 0/1 参数设置。检索方式 参数 graph proxima.hnsw...
数据集拆分
其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 拆分方式 随机拆分：就是根据指定的拆分比例随机抽取样本形成一个数据集，剩下的样本形成另一个数据集；前后拆分：就是根据指定的拆分比例将样本前面的指定部分形成一个数据集，...
随机森林回归算法（Random Forest Regression）
随机森林回归模型通过随机抽取样本和特征，建立多棵相互不关联的决策树，通过并行的方式获得预测结果。每棵决策树都能通过抽取的样本和特征得出一个预测结果，通过综合所有树的结果取平均值，得到整个森林的回归预测结果。使用场景 随机...
逻辑库
等于1 等于1时，仅存在分表的单个数据库会抽取成逻辑库。使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库...
Redis过期Key的逐出策略
概述 本文主要介绍阿里云云数据库Redis过期Key的逐出策略，且介绍了使用Redis的一些最佳实践。Redis过期Key清理策略 清理过期Key的算法 数据逐出算法 使用Redis的注意事项 详细信息 Redis过期Key清理策略 为了防止一次性清理大量过期Key...
标注中心
比例抽样：从符合筛选条件的数据中随机抽取该比例的量。抽取后总量也不能超过1000条，同时会展示实际抽取的比例。自定义量：从符合时间范围的最早数据开始抽取该数量的样本，总量不可超过1000。关闭或删除标注任务 含义：关闭：将一个未...
自动故障转移和读写分离
表示允许连接到任意数据库，会从所有配置的数据库中随机选择一个尝试连接，如果连接的数据库出现故障导致连接断开，会尝试连接其他数据库，从而实现故障转移。read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果...
Quick BI中明细表的分页不生效
问题原因 分页是数据库执行的结果，具体要看数据库的表现，数据库这个limit不排序的情况下不起作用，所以要加上排序。解决方案 执行分页SQL试下，看改变limit后面的第一个值结果会不会有变化。在具体维度字段设置一个排序之后，再次查看...
模型配置
随机人群：从历史人群中随机抽取的M人，与高潜验证人群数量相等，作为对照组。然后，系统分别根据 高潜验证人群、随机人群 在复购周期内的购买情况计算准确率、召回率，作为预测是否成功的量化指标：准确率：预测用户（即 高潜验证人群 或 ...
技术架构
数据库自治服务（Database Autonomy Service，简称DAS），一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、...
模型配置
随机人群：从历史人群中随机抽取的M人，与高潜验证人群数量相等，作为对照组。然后对每人推荐近一年销量TopN的商品。然后，系统分别根据 高潜验证人群、随机人群 在预测周期内的购买情况计算准确率、召回率，作为推荐是否成功的量化指标：...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
PostgreSQL数据源
增量数据同步的方式 PostgreSQL Reader使用JDBC SELECT语句完成数据抽取工作，因此可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量少于来源表数据量的原因。详细信息 Dataphin管道任务为什么抽取...原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库不一致。适用于 Dataphin
查询报错问题
分析型数据库MySQL版对分页数量有限制，即查询返回结果集限制10000行。分析型数据库MySQL版会对select语句查询的返回结果集做全局最大限制，如果不加limit或limit函数超过10000，则只能返回10000行。可以在查询中添加注解/*+limitmax=<最大...
使用说明
示例：在RW1上创建一个数据库 db1 CREATE DATABASE db1 POLARDB_WRITE_NODE 1;如果需要在RW2上创建数据库 db1，把上述示例中的1换成2即可。删除在指定RW节点上创建的数据库 删除在指定RW节点上创建的数据库。语法结构如下：DROP DATABASE ...
Quick BI中如何实现数据量很大日增超过百万的数据分析
概述 本文档提供数据库数据量很大超过千万日增数据量的场景下，Quick BI报表加载很慢，超过十几分钟都加载不出来的问题的解决方案和思路。问题描述 客户的数据分析基本都是基于上千万条的数据量，有的可能过亿，日增也是百万以上。对于这样...
管理数据库
设置以下参数：参数 说明 数据库（DB）名称 长度为2~64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。说明 数据库名称中如果包含-，创建出的数据库的文件夹的名字中的-会...
创建数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
CREATE DATABASE
CREATE DATABASE 用于创建数据库。创建数据库 说明 每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库。本文为您介绍CREATE DATABASE的用法。使用限制 单个实例最多可创建64个数据库。语法 CREATE DATABASE db_name[[WITH][OWNER[=]user_name];参数说明如下表所示。参数 描述 db_name 创建的数据库名称，只...
管理数据库
设置以下参数：参数 说明 数据库（DB）名称 长度为2~64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。说明 数据库名称中如果包含-，创建出的数据库的文件夹的名字中的-会...
如何优化数据全量抽取
关系型数据库没有直接提供分段返回表中数据的能力，高效的实现分页查询，还需要结合数据库本身的特点来设计查询语句。以MySQL为例，分页查询最直观的实现方法，是使用limit offset，pageSize来实现，例如如下查询：select*from t_order ...
创建数据库
语法：CREATE DATABASE[IF NOT EXISTS]$db_name 参数说明：db_name：数据库名。以小写字符开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的下划线（_），长度不超过64个字符。说明 数据库名不能是analyticdb，...
数据库管理
参数 说明 数据库（DB）名称 长度最多64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。支持字符集 选择utf8、gbk、latin1或utf8mb4。授权账号 选中需要访问本数据库的...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
CREATE DATABASE
本文介绍创建数据库的基本语法。CREATE DATABASE基本语法如下：CREATE DATABASE[IF NOT EXISTS]db_name[ON CLUSTER cluster];参数说明：db_name：数据库名。以小写字母开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的...
通过Mongo Shell管理数据库账号
roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询目标数据库的所有数据库账号 说明 您可以通过 use database_name 命令切换数据库，其中 database_name 为目标数据库的名称。方式一：在目标数据库执行查询命令。show users 说明 ...
创建数据库
在进行数据写入和查询前，您需要先创建数据库。本文介绍如何使用DMS（Data Management Service）创建数据库。使用限制 每个 云数据库ClickHouse 集群最多可以创建256个数据库。前提条件 已完成快速入门的如下步骤。新建集群 创建账号 设置...
创建账号和数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
删除数据库
您可以通过SQL命令或RDS管理控制台删除数据库，但每种方式适合的实例类型不同，请根据实际情况，选择删除方式。通过控制台删除数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 数据库管理。找到要删除的...
CREATE EXTERNAL DATABASE
AnalyticDB MySQL 湖仓版（3.0）和 数仓版（3.0）支持通过 CREATE ...语法 CREATE EXTERNAL DATABASE[IF NOT EXISTS]<db_name>参数 db_name：外部数据库名。数据库名命名规则，请参见 命名约束。示例 CREATE EXTERNAL DATABASE adb_demo;
新建数据库
操作步骤 新建数据库 您可以使用以下两种方式来新建数据库：Hologres管控台新建数据库 Hologres管控台 支持以可视化的方式新建数据库，在Hologres管控台进入对应实例的详情页，选择 数据库管理，单击 新增数据库 进行创建。说明 当前版本的...
- 产品推荐
- 这些文档可能帮助您