新功能发布记录
如何拆分元数据文件？2020-08-18 功能名称 功能描述 功能类型 相关文档 监控报警 新增以下监控项：Instance连接数量 Instance通道数量 Vhost连接数量 Vhost通道数量 优化 监控指标 2020-08-13 功能名称 功能描述 功能类型 相关文档 监控...
分库分表问题
常见分库分表问题列表：分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均...
Hive元数据说明
DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...
管理文件元数据
示例代码 以下代码用于上传文件时指定元数据，并在文件上传后更新和查看文件元数据。DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8" /> <title>Document</title> </head> <body> <button id='upload'>上传</button><button id='update...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
Binlog日志服务
多流服务不是默认开通的，需通过控制台手动开通，对于同一个 PolarDB-X 实例，可支持同时开通多个多流服务，每个多流服务中支持多个流，不同服务之间是完全隔离的，可设置不同的拆分数量、不同的数据拆分级别、不同的参数规则等，可根据...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Tablestore（OTS）或者Raft...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Tablestore（OTS）或者Raft...
set-meta（管理文件元数据）
ossutil64 set-meta oss:/examplebucket/exampleobject.txt X-Oss-Meta-Createdby-delete 示例二：批量删除多个Object的自定义元数据 批量删除多个Object的自定义元数据步骤如下：将待删除自定义元数据的Object名称写入本地文件localfile....
逻辑单元
核心业务和数据单元化拆分，拆分后分片均衡，单元内尽量自包含（调用封闭），拥有自己的数据，能完成所有业务。一个可用区可以有多个 RZone。GZone（Global Zone）：部署未按用户维度拆分的系统，被 RZone 依赖，提供不可拆分的数据和服务...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
OSS-HDFS元数据管理费用
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。计费项 计费...
变更表类型及拆分规则（DRDS模式）
PolarDB-X 新增支持变更表的类型（即在单表、拆分表和广播表三者间进行相互转换），和变更拆分表的拆分规则（包括拆分函数或拆分列）。本文介绍相关语法和示例，本语法仅适用于DRDS模式数据库。前提条件 仅内核小版本为5.4.8或以上的 ...
PolarDB
val layer=spark.read.ganos.polardbRasterImage(options).load(id,zoom)重要 多波段影像会自动拆分为多个单波段Tile进行展示。您也可以通过图层ID集合批量加载图层。val layers=spark.read.ganos.polardbRasterCover(options).load(Seq[id...
部署单元
在创建单元化工作空间或者工作空间组时，系统会自动进行逻辑单元和部署单元的规划。您可以根据实际需求，对部署单元进行修改或删除。背景信息 部署单元（Cell）定义了一个服务通信的边界，用以规整通信的链路，为发布部署时切流做无损发布...
产品架构
FE和BE都可以在线水平扩展，元数据和业务数据都有副本机制，确保整个系统无单点。StarRocks提供MySQL协议接口，支持标准的SQL语法，您可以通过MySQL客户端方便地查询和分析StarRocks中的数据。说明 该图片来源于社区StarRocks的 系统架构。...
管理文件元数据
Last-Modified 由OSS自动更新，用于缓存控制、同步和数据管理，以UTC格式表示，不可手动更改。更多信息，请参见 哪些操作会更新Object的LastModified？说明 OSS控制台在展示文件更新时间时，会将其从UTC时间格式转换为本地时间格式，从而...
DLF数据访问权限控制
说明 同一个申请单提交的多张表权限申请，会按照表Owner的不同自动拆分成多个申请单。查看审批详情。单击目标申请 操作 列的 审批，您可以在 审批详情 对话框查看目标申请的 申请详情、审批记录 等详细信息。审批申请。根据申请的详细内容...
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
CDM接口数据层设计规范
说明 如果出现 nd 的表字段过多，需要拆分时，只允许以一个统计周期单元作为原子拆分，即一个统计周期拆分一个表，例如最近7天（1week）拆分一个表，不允许拆分出一个表存储多个统计周期。如果一个汇总表出现混合多个数据域时，表名称中...
版本发布说明
发布日期：2023-08-18 大版本：V5.4.17 小版本：16921956 类别 说明 新增&优化 创建AUTO模式数据库的语句中新增default_single=‘on’参数，表示此数据库默认创建单表而且自动打散各个DN。新增支持非事务场景下的跨库单表下推。新增私有...
DML操作常见问题
当多个作业同时处于元数据提交阶段时，每个作业都需要对单表表上的元数据加锁、写入、再解锁。如果同时多个作业写入，该表元数据总是处于加锁写入的状态，可能出现部分作业在尝试加锁超时之前一直没有抢到锁，从而导致报错 cannot acquire ...
API概览
GetDataArchiveCount 获取数据归档工单量统计 获取数据归档工单量统计，包括：归档成功的工单数目，归档失败的工单数目，正在进行归档的工单数目，归档工单的总数目。SQL任务 API 标题 API概述 ListDBTaskSQLJob 获取SQL任务列表 获取SQL...
术语表
内核术语 名词 描述 分布式表 按照一定的拆分规则根据拆分键将一张表中的数据拆分到多个数据库与数据表中。广播表 广播表不做拆分，且所在数据库的所有数据节点均具有该表的副本。单表 没有做拆分的表为单表。数据库模式 创建数据库时通过...
ODPS-0121096
当多个作业同时处于元数据提交阶段时，每个作业都需要对单表表上的元数据加锁、写入、再解锁。如果同时多个作业写入，该表元数据总是处于加锁写入的状态，可能出现部分作业在尝试加锁超时之前一直没有抢到锁，从而导致报错 cannot acquire ...
DLF数据探索快速入门-淘宝用户行为分析
数据转换耗时约40秒-创建新表user_log，parquet格式，按日期分区-导入数据，拆分日期和小时，并将behavior转换成可读性更好的值-1-click;2-collect;3-cart;4-pay create table `dlf_demo`.`user_log` USING PARQUET PARTITIONED BY(date)as...
技术架构
除此以外，在元数据和生态对接层面，PolarDB-X 1.0 基于Online DDL的技术提供了分布式下元数据的一致性。同时硬件层面，兼容主流国产操作系统和芯片认证，比如麒麟、鲲鹏、海光等。高扩展 PolarDB-X 1.0 基于Share-Nothing的架构支持水平...
HDFS概述
Blocks HDFS将文件拆分成128 MB大小的数据块进行存储，这些Block可能存储在不同的节点上。HDFS可以存储更大的单个文件，甚至超过任何一个磁盘所能容纳的大小。一个Block默认存储3个副本（EMR Core节点如果使用云盘，则为2副本），以Block为...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
DLA Lakehouse实时入湖
核心单元概念如下：全量作业（从某个Workload中拆分出来）增量作业（从某个Workload中拆分出来）Clustering：小文件聚合 Indexing：自动索引构建 Compaction：自动日志合并 Tier：自动分层存储 Lifecycle：自动生命周期管理 ...
配置LogHub（SLS）输入
背景信息 LogHub（SLS）实时同步读取插件，会自带以下元数据字段：LogHub（SLS）实时同步字段 数据类型 说明_time_STRING SLS保留字段：_time_写入日志数据时指定的日志时间，unix时间戳，单位为秒。source_STRING SLS保留字段：_source_...
参数配置
catalog_trash_expire_second 86400 删表或数据库之后，元数据在回收站中保留的时长，单位为s，默认1天。如果超过该时长，则数据无法恢复。alter_table_timeout_second 86400 Schema change超时时间，单位为s，默认1天。balance_load_disk_...
参数配置
catalog_trash_expire_second 86400 删表或数据库之后，元数据在回收站中保留的时长，单位为s，默认1天。如果超过该时长，则数据无法恢复。alter_table_timeout_second 86400 Schema change超时时间，单位为s，默认1天。balance_load_disk_...
- 产品推荐
- 这些文档可能帮助您