基于Hadoop集群支持Delta Lake或Hudi存储机制
映射目标数据库 Hadoop集群目标数据库。单击 完成创建并预览 后，单击 预览。如果能预览Hadoop集群中数据库表的信息，则表示操作成功。说明 上述使用的External Project是在DataWorks控制台创建的，如果您需要通过SQL方式管理External ...
MaxCompute+Hadoop搭建实践
准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端界面输入如下命令：[has@emr-header-1 root]$hive-创建库 create database if not exists myhive;切换...
Trajectory最佳实践
采用合理的分区表 随着使用时间的增加，数据库中的轨迹数据量也不断增加，导致数据库索引变大，查询变慢。您可考虑采用分区表的模式降低单表数据量。使用分区表请参见PostgreSQL文档中 分区表 相关章节。减少使用字符串类型属性 轨迹属性中...
Trajectory最佳实践
采用合理的分区表 随着使用时间的增加，数据库中的轨迹数据量也不断增加，导致数据库索引变大，查询变慢。您可考虑采用分区表的模式降低单表数据量。使用分区表请参见PolarDB文档中 分区表使用。减少使用字符串类型属性 轨迹属性中如有大量...
Trajectory最佳实践
采用合理的分区表 随着使用时间的增加，数据库中的轨迹数据量也不断增加，导致数据库索引变大，查询变慢。您可考虑采用分区表的模式降低单表数据量。使用分区表请参见PolarDB文档中 分区表使用。减少使用字符串类型属性 轨迹属性中如有大量...
Trajectory最佳实践
采用合理的分区表 随着使用时间的增加，数据库中的轨迹数据量也不断增加，导致数据库索引变大，查询变慢。您可考虑采用分区表的模式降低单表数据量。使用分区表请参见PostgreSQL文档中 分区表 相关章节。减少使用字符串类型属性 轨迹属性中...
搭建与管理（基于Hadoop）
映射目标数据库 Hadoop集群目标数据库。步骤三：通过DataWorks管理湖仓一体 使用湖仓一体 在DataWorks控制台页面左侧导航栏，单击 数据湖集成（湖仓一体）。在 数据湖集成（湖仓一体）页面，选择目标外部项目，开始使用湖仓一体。使用湖仓...
元数据库和数据字典
COLLATION_NAME：列collation名 COLUMN_TYPE：列类型（包含精度）COLUMN_KEY：列索引信息 EXTRA：列额外信息 PRIVILEGES：列权限信息 COLUMN_COMMENT：列注释 GENERATION_EXPRESSION：生成列 STATISTICS STATISTICS表提供关于数据库索引的...
列存索引如何实现高效数据过滤
Nullable列优化 由于Null值处理逻辑比较特殊，数据库索引一般针对Null值的列支持不太好。不同数据库对Nullable列的处理不尽相同。PolarDB IMCI针对Nullable列进行了优化，使得Null值对查询的性能影响大大减少。在PolarDB的用户使用场景中，...
数据格式描述文件
本文介绍索引数据的描述文件（Ingestion Spec文件）。Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},...
查询计划和查询重规划
升级数据库小版本和大版本的方法，请参见 升级数据库小版本 和 升级数据库大版本。如果上述方法都没有产生效果，您可以 提交工单 联系技术支持协助解决。相关文档 Query Plans cursor.hint()planCacheSetFilter planCacheClearFilters
Spark访问VPC实例
直接访问VPC Spark on MaxCompute可以访问阿里云VPC内的云服务器ECS（Elastic Compute Service）、云数据库HBase（Hadoop Database）和云关系型数据库RDS（Relational Database Service）等实例，同时还可以访问自定义私有域名。...
基本概念
数据库实例：数据库实例是在云中运行的独立数据库环境。一个数据库实例可以包含多个由数据库用户创建的数据库，并且...索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。
异构数据源访问
数据库类型 选择 HDFS。数据来源 E-MapReduce集群ID。说明 自建Hadoop集群无此参数。网络校验 单击 网络校验，提示网络连通。单击下一步，填写 配置文件。参数 说明 获取方式 参数配置 无 若目标数据源为E-MapReduce集群，支持 自动配置...
数据库对象的逻辑结构
AnalyticDB PostgreSQL 数据库由许多数据库对象组成，包括表（table）、索引（index）、序列（sequence）、视图（view）、以及数据库（database），数据库对象在逻辑上是彼此分离，相互之间可以有包含关系。一个 AnalyticDB PostgreSQL ...
索引、属性、字段作用详解
与开源ES的名词解释对比 由于 开放搜索 是阿里巴巴自主研发的大规模分布式搜索引擎平台，虽然有些名词与开源的Es叫法相同，但其作用却差距较大，这里做出如下对比：Es：名词 Es解释 与关系型数据库对比 索引 索引（index）是Elasticsearch...
索引、属性、字段作用详解
与开源ES的名词解释对比 由于 开放搜索 是阿里巴巴自主研发的大规模分布式搜索引擎平台，虽然有些名词与开源的Es叫法相同，但其作用却差距较大，这里做出如下对比：Es：名词 Es解释 与关系型数据库对比 索引 索引（index）是Elasticsearch...
库表结构优化
数据库利用索引进行查询数据过滤的原理，请参见 过滤条件不下推。说明 数据索引删除后，如果查询再次使用该数据列进行过滤操作，查询时间会变长。操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在...
REINDEX
重建一个特定数据库中的所有索引，且不假设系统索引已经可用：$export PGOPTIONS="-P"$psql broken_db.broken_db=>REINDEX DATABASE broken_db;broken_db=>\q 重建表的索引，在重建索引过程中不阻止对相关关系进行读写操作：REINDEX TABLE ...
索引使用率
数据库自治服务DAS 为 RDS SQL Server 提供索引使用率查询功能，您可以查询表中索引的使用情况，以及索引的碎片率。前提条件 当前不支持 RDS SQL Server 2008 R2云盘版。操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
多元索引介绍
表格存储与数据库及搜索引擎等系统的主要区别如下：除了Join、事务和相关性外，表格存储能覆盖数据库和搜索系统中的其他功能，同时具备数据库的数据高可靠性和搜索系统的高级查询能力，可以替换常见的 数据库+搜索系统组合架构 方式。...
部分索引
通常，本数据库会对索引使用做出合理的选择（例如，它会在检索公值时避开索引，这样前面的例子只能节约索引尺寸，它并非是避免索引使用所必需的），非常不正确的规划选择则需要作为故障报告。记住建立一个部分索引意味着我们知道的至少和...
CREATE DATABASE
CREATE DATABASE 用于创建数据库。创建数据库 说明 每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及...
创建数据库
语法：CREATE DATABASE[IF NOT EXISTS]$db_name 参数说明：db_name：数据库名。以小写字符开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的下划线（_），长度不超过64个字符。说明 数据库名不能是analyticdb，...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
CREATE DATABASE
本文介绍创建数据库的基本语法。CREATE DATABASE基本语法如下：CREATE DATABASE[IF NOT EXISTS]db_name[ON CLUSTER cluster];参数说明：db_name：数据库名。以小写字母开头，可包含字母、数字以及下划线（_），但不能包含连续两个及以上的...
通过Mongo Shell管理数据库账号
roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询目标数据库的所有数据库账号 说明 您可以通过 use database_name 命令切换数据库，其中 database_name 为目标数据库的名称。方式一：在目标数据库执行查询命令。show users 说明 ...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
CREATE EXTERNAL DATABASE
AnalyticDB MySQL 湖仓版（3.0）和 数仓版（3.0）支持通过 CREATE ...语法 CREATE EXTERNAL DATABASE[IF NOT EXISTS]<db_name>参数 db_name：外部数据库名。数据库名命名规则，请参见 命名约束。示例 CREATE EXTERNAL DATABASE adb_demo;
DROP DATABASE
语法 DROP DATABASE[IF EXISTS][catalog_name.]db_name 参数说明 参数 是否必选 说明 catalog_name 否 数据库的Catalog。db_name 是 数据库名，用于唯一识别一个数据库。示例 删除名为mydatabase的数据库。DROP DATABASE mydatabase;返回...
DROP DATABASE
DROP DATABASE语法用于删除指定的数据库。引擎与版本 DROP DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持DROP DATABASE语法。时序引擎无版本限制。语法 drop_database_statement:=DROP DATABASE[IF EXISTS]...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
数据上云场景
使用DataWorks结合DataX进行Hadoop数据迁移的示例请参见 Hadoop数据迁移新手教程，或参见视频教程 Hadoop数据迁移到MaxCompute最佳实践。Sqoop执行时，会在原来的Hadoop集群上执行MR作业，可以分布式地将数据传输到MaxCompute上，详情请...
概述
云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过结合本身传统数据库的能力可以实现非结构化数据和结构化、半结构化数据的混合分析，并且能充分利用结构化和半结构化的索引能力。向量检索与全文检索的双路召回。云原生数据仓库...
Schema探索
示例二：运行不带有ON子句的SHOW RETENTION POLICIES查询 使用 USE<database_name>指定数据库>USE NOAA_water_database Using database NOAA_water_database>SHOW RETENTION POLICIES name duration shardGroupDuration replicaN default-...
历史变更
索引表 新增索引表 是 新增数据源部署->新增索引->手动触发全量->订阅/取消订阅索引表 修改索引表 是 推送离线配置->手动触发全量 索引表的索引重建 是 手动触发全量 配置更新 是 推送离线配置->手动触发全量 从索引恢复数据 是 索引中恢复...
历史变更
索引表 新增索引表 是 新增数据源部署->新增索引->手动触发全量->订阅/取消订阅索引表 修改索引表 是 推送离线配置->手动触发全量 表的索引重建 是 手动触发全量 配置更新 是 推送离线配置->手动触发全量 从索引恢复数据 是 索引中恢复FSM ...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
加速密文索引（encdb_btree）
该插件是全密态数据库的性能增强插件，能够提高全密态数据库密文索引相关操作的效率，本文介绍如何使用该插件。背景信息 全密态数据库提供了全链路加密的功能，在保证数据安全的同时，会损耗部分系统性能，具体损耗情况，请参见 全密态数据...
- 产品推荐
- 这些文档可能帮助您