EMR+DLF数据湖解决方案
在创建EMR集群时，如果您选择的DataLake集群类型，并且有选择Hive服务的情况下，会出现元数据选项，如下图选择“DLF统一元数据”。如果您没有开通DLF，会提醒您先开通DLF产品。步骤二：初始化元数据 初始化元数据分为两种情况：原有大数据...
RDS MySQL如何管理长时间执行的查询
出现原因 在使用RDS MySQL的过程中，由于某些原因，例如被SQL注入、SQL执行效率较差、DDL语句引起表元数据锁等待等，会出现运行时间很长的查询。说明：元数据锁等待的问题请参考 解决MDL锁导致无法操作数据库的问题。由于SQL执行效率差而...
版本发布说明
修复TruncateTable后TableDetail视图的GSI相关数据会丢失的问题。修复alter table修改AVG_ROW_LENGTH时，执行失败的问题。修复部分非模板化二级哈希分区建表语法，被当作模板化哈希分区语法的问题。发布日期：2023-11-13 大版本：V5.4.17 ...
欠费说明
实例以及Topic、ConsumerGroup等元数据会继续保留。在此期间支持 续费 操作，续费成功后实例恢复使用。实例到期7天后：若您在实例到期7天内未完成续费，云消息队列 RocketMQ 版 实例及相关Topic和ConsumerGroup等元数据全部被释放且不可...
写入
重要 写入时间线元数据会覆盖该时间线元数据的原有数据。示例代码 写入数据点。构造时间线标识。TimestreamIdentifier identifier=new TimestreamIdentifier.Builder("cpu").addTag("Role","OTSServer").build();构造数据点，支持多个值。...
SHOW CATALOGS
Catalog记录了数据库、表等元数据。...宽表中的元数据会自动映射到流引擎中，您可以在此目录中执行只读操作。示例 展示流引擎中所有的Catalog。SHOW CATALOGS;返回结果如下：+-+|Result|+-+|catalog name|-|lindorm_stream|lindorm_table|+-+
Hive统一元数据
支持统一元数据之前，元数据都是在集群内部的MySQL数据库，元数据会随着集群的释放而丢失，特别是EMR提供了灵活按量模式，集群可以按需创建用完就释放。如果您需要保留现有的元数据信息，必须登录集群手动将元数据信息导出。支持统一元数据...
管理文件元数据
文件元数据会附在HTTP Headers中，而HTTP协议规定请求头部不能包含复杂字符，元数据只能是简单的ASCII可见字符且不能包含换行。所有元数据的总大小不能超过8 KB。设置文件元数据 以下代码用于上传文件时设置文件元数据。require 'aliyun/...
附录：数据地图权限管控能力总览
默认情况下，所有MaxCompute项目下的元数据会被采集并在数据地图展示。在 数据地图 页面，鼠标悬停至左侧导航栏的 图标，选择 配置管理>项目管理配置，即可进入工作空间管理页面，配置数据地图需展示的项目元数据，详情请参见 项目管理配置...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
文件元数据离线分析
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
管理数据流动任务
警告 CPFS会将元数据导出到OSS Bucket的自定义元数据中，其命名为 x-oss-meta-afm-xxx，不能删除或修改，否则文件系统中的元数据会错误。删除（Evict）将释放CPFS上文件的数据，删除后文件在CPFS上只保留元数据，您仍能看到该文件，但文件...
时序模型计量计费
使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 时序模型中的分析存储功能将从2023年12月20日正式开始收费...
数据流动概述
重要 CPFS会将元数据导出到OSS Bucket的自定义元数据中，其命名为 x-oss-meta-afm-xxx，不能删除或修改，否则文件系统中的元数据会错误。元数据自动更新 配置当OSS的数据发生变化后，CPFS可通过OSS的数据修改事件监控到元数据变化，并自动...
功能介绍
实例元数据会被压缩后存储到相同OSS目录中，在基础备份期间不会阻塞您的读写操作。日志备份（也称为增量备份）是指将实例产生的日志文件备份至其他离线存储介质。日志文件记录了用户对数据库的DML与DDL操作。重要 当前 AnalyticDB ...
0005-00000421
问题原因 调用客户端加密上传文件后，加密元数据会被保护，无法通过 CopyObject 修改文件元数据。问题示例 使用CopyObject修改客户端机密后的对象元数据。解决方案 使用客户端加密方式重新上传该文件。相关文档 客户端加密 CopyObject
Hive数据源
例如，SelectDB在10:00第一次访问表A的元数据，则该元数据会被缓存，并且在10:10自动失效。如果SelectDB在10:11再次访问相同的元数据，则会直接从Hive MetaStore获取信息，并重新填充至缓存中。针对Hive中常用的 INSERT INTO OVERWRITE ...
导入Kafka数据
其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃的数据条数。如何查看，请参见 查看导入配置。最大Topic数量 单个数据导入配置最大支持指定10,000个Topic。单条日志大小 单条日志最大为3 MB。单条日志...
方案背景
纵向扩展（数据量）：海量文件会对应海量元数据，面对数据膨胀，数据库要满足易扩展、低成本等基本要求。服务性能：应对高并发请的同时，保证低延迟、强一致、高可用。表格存储方案 使用表格存储研发的多元索引（SearchIndex）方案，可以...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
通过自定义镜像迁移ECS实例数据
随着ECS实例的不断迭代，较早创建的ECS实例可能出现无法新增资源补给等问题，可能会影响您对云上业务的运维。阿里云的自定义镜像功能可以帮助您迁移源ECS实例的数据至新创建的目标ECS实例，以保障云上业务的运维效率。本文为您介绍如何通过...
set-meta（管理文件元数据）
Oss-Storage-Class:Archive-include"*abc*"-exclude"*.jpg"-exclude"*.txt"-u-r 重要 通过 set-meta 命令对大于100 MB的冷归档或者深度冷归档存储类型Object进行存储类型转换时，可能会出现因服务器超时导致转换操作失败的问题。...
为什么云存储网关与OSS上的文件不一致
但是，由于OSS Bucket内部是扁平的，在通过OSS API操作模拟文件夹功能列举下级文件的时延可能会较长，因此如果设定的反向同步的时间间隔较小，则会触发大量的扫描操作，当执行例如 ls 等元数据操作时会出现卡顿从而影响体验，这种场景下...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
导致该问题的原因有以下情况：Dataphin中读取数据库的元数据（比如表名、字段名）时后台有设置一个超时时间，如果读取元数据超过该超时时间，Dataphin就会主动断开请求。数据库存在性能问题，比如数据库中对应的表被锁，导致读取元数据的...
实例元数据
ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...
Hologres管控台的监控指标
只有在子实例绑定了主实例之后，该指标会显示数据（0ms），当主实例有数据写入时，子实例的同步延迟会出现数据波动。一般情况下，主从实例的同步延迟毫秒级，当实例偶尔出现延迟抖动时，一般情况为主实例在做DDL等元数据修改的操作，可忽略...
均衡分片（Rebalance）
分片分布不均衡示例：如下图有Worker节点没有分片时，监控信息中会出现如下类似情况，有Worker节点的负载远低于其他Worker。使用如下SQL查询Worker加载分片元数据情况：SELECT DISTINCT worker_id FROM hologres.hg_worker_info;返回结果：...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
升级内核小版本
小版本升级通常不会出现兼容性问题，但内核微小的改变可能会引起功能的变化。建议先查看微软的SQL Server CU累计更新记录确认是否有内核改变。在内核小版本升级期间，请勿对数据库执行任何元数据修改操作，执行这些操作可能会导致升级后的...
OOM常见问题排查指南
关于该问题产生的原因、主要影响和解决方法具体如下：产生原因 元数据占用内存多 表现为Meta内存使用率高：表数据量增加，数据总量也随之增加，元数据占用内存多，当没有任务运行时，内存水位也会高，通常建议一个Table Group下不要超过...
0041-00000111
问题描述 无法解析自定义元数据。问题原因 请求触发镜像回源时，源站解析自定义元数据格式错误。问题示例 解析x-oss-persistent-headers内容不合法。其他情况 解决方案 排查源站异常。相关文档 镜像回源
PolarDB MySQL版DDL操作指南
此外，部分采用INPLACE算法执行的DDL，如 RENAME TABLE、ADD COMMENT 等可以做到仅修改元信息，不修改表中数据，可以做到秒级完成。COPY算法：当使用COPY算法执行DDL操作时，需要将表中所有的数据复制到新表中。在数据复制期间，会持有原表...
Query洞察
但需要注意表的元数据采集自hg_table_info表，默认T+1日更新数据，如果表是当天创建的，会查询不到。表锁分析：跳转至表锁分析页面，可以查看当前Query是否有锁，仅会检测DML相关的锁。例如走Fixed Plan的SQL查询变慢，可以使用表锁分析...
Spark
Spark访问外部数据源时，为什么会出现网络连接失败问题？Spark SQL应用使用SHOW TABLES或SHOW DATABASE命令查询库表时，为什么显示的库表与实际库表不符？Spark应用为什么提示错误日志oss object 403？如何定位Spark应用运行速度变慢的原因...
- 产品推荐
- 这些文档可能帮助您