设置列索引的排序键
总体流程如下：按照主键索引遍历并将读取到的完整数据保存至数据文件，然后将排序列添加到排序缓存区，其中每个线程使用不同的数据文件，累积达到一定数据后再写入；不断遍历并插入到排序缓存区，当排序缓存区满时，在内存中根据排序键组合...
FTP数据源
DataX内部类型 远程FTP文件数据类型 LONG LONG DOUBLE DOUBLE STRING STRING BOOLEAN BOOLEAN DATE DATE 数据同步任务开发 FTP数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
通过元数据发现导入至湖仓版
OSS文件数据变更，重新映射到 AnalyticDB MySQL 的表数据会根据 目标元数据配置 规则更新。目标元数据配置 Schema名称 设置Schema名称，映射到 AnalyticDB MySQL 的数据库名称（默认每个发现任务会创建一个新的Schema）。数据库名称填写，...
HDFS与ClickHouse间的数据导入与导出
步骤二：导入数据 通过HDFS表引擎导入数据 ClickHouse的HDFS表引擎能够从指定HDFS地址读取特定格式的文件数据，语法如下：CREATE TABLE[IF NOT EXISTS][db.]table_name(name1[type1],name2[type2],.)Engine=HDFS(uri,format);参数 描述 db ...
表引擎
StripeLog 支持并发读取数据文件，将所有列存储在同一个大文件中，减少了文件数，查询性能比TinyLog好。Log 支持并发读取数据文件，每个列会单独存储在一个独立文件中，查询性能比TinyLog好。Integrations Integrations系列引擎适用于将...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
数据库
blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位：毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位：毫秒。stats_reset timestamp with time zone 统计信息最近一次...
数据库
blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位：毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位：毫秒。stats_reset timestamp with time zone 统计信息最近一次...
Performance Insight
IO：数据文件读写时间、日志文件写入时间、逻辑读取、物理读取、物理异步读取等。Object statistics使用方法 确认参数 OPT_TABLESTAT 和 OPT_INDEXSTAT 的值为 ON。示例如下：mysql>show variables like"opt_%_stat;Variable_name|Value|+-...
数据备份
备份过程中会进行数据文件读取复制，影响集群的读写效率，请尽量在业务低峰期或运维时间段启动备份任务。已启动的备份任务不能中断。已开通冷热分层存储功能的集群不支持再开通数据备份功能。计费说明 计费规则：每小时备份费用=备份空间...
场景：配置增量数据离线同步任务
OSS Reader Object 指定路径 说明 与调度参数结合实现每日读取指定文件数据。配置增量同步 数据集成离线同步任务中，可以使用调度参数来指定同步源表及目标表的数据路径以及数据范围，调度参数的配置方式与其他类型任务一致，没有特殊限制...
RDS SQL Server I/O高问题
数据文件的读请求操作主要包括查询请求产生的数据页读取和数据库备份产生的数据页读取，事务日志文件在做备份时会有较多的读I/O负载，其他情况主要是写I/O负载。当发现实例的I/O吞吐较高时，您可以在 自定义指标 中增加以下性能指标，然后...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
FTP Check节点
为了保证DataWorks成功读取完整的外部数据库的数据，此时，可以让其他调度系统在数据库中的数据写入任务完成后，在指定文件系统中进行文件标记（例如，生成一个.done 文件），表明该任务已完成。然后在DataWorks中配置一个FTP Check节点，...
Quick BI无法上传文件
产品名称 Quick BI 产品模块 数据源 概述 本文将通过指引用户添加读写权限上传文件。问题描述 用户在使用过程中，出现上传文件按钮灰色，无法...更多信息 无 相关文档 创建文件数据源：https://help.aliyun.com/document_detail/168026.html
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
RDS MySQL I/O高问题
附：InnoDB I/O系统介绍 InnoDB通过一套独立的I/O系统来处理数据页的读取和写入，如果SQL请求的数据页不在Buffer Pool中，会产生物理I/O，需要读写底层存储的数据：读数据页操作 通过同步I/O实现，同步I/O调用底层的读接口。写数据页操作 ...
22.8版本新特性概览
远程文件系统的本地缓存 当ClickHouse从本地磁盘文件系统读取数据时是非常快的，例如阿里云ECS本地盘或者云盘上的数据被OSS缓存在Page Cache中再进行读取。但是，如果ClickHouse从远程文件系统（例如OSS）读取数据，则系统不会感知到这些...
版本发布记录
无 1.0.0 类别 功能点 描述 数据分析 OSS文件数据分析 支持针对单个OSS文件数据进行分析，或者多个OSS Bucket文件进行关联分析。分析结果写入OSS 支持将分析后的结果数据回流至OSS。Table Store数据分析 支持Table Store数据分析。RDS数据...
数据集成支持的数据源
不支持 ArgoDB 支持 支持 Paimon 不支持 不支持 文件数据源 FTP 支持 支持 OSS 支持 支持 Amazon S3 支持 支持 消息队列数据源 Log Service 支持 不支持 Kafka 支持 支持 RocketMQ 不支持 不支持 DataHub 支持 支持 关系型数据源 PolarDB ...
添加数据源概述
文件类 说明 DataV目前不支持从其他文件存储中读取大型的数据文件。CSV文件 无。静态JSON 无。API类 添加API数据源 您可以在组件配置页面的 数据 面板中选择一种GET或POST任意一种请求方式，并将API地址直接粘贴到 URL 字段中。添加Open ...
背景信息以及准备工作
DLA可以在不移动OSS日志文件的情况下读取并分析日志文件数据，定位服务故障原因等。对于一个服务而言，日志文件记录了服务运行的所有详细信息。在进行故障排除、状态监控或者预测告警时，都需要对日志文件进行查询分析。阿里云对象存储服务...
数据缓存
当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件的缓存数据，并根据Block的offset和size，确认哪些数据从本地Block读取，哪些数据从远程获取，并缓存远程拉取的新数据。BE节点重启时，会扫描 cache_path 目录并恢复Block...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
开启透明数据加密TDE
云原生内存数据库Tair 支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 内存...
表数据格式
Transaction Table2.0数据文件类型 Transactional Table 2.0支持多种数据文件组织格式，来高效支持全量读写和近实时增量读写等多种场景，主要包含BaseFile和DeltaFile两种形态。其中：DeltaFile：每次事务Commit写入（Update/Delete）的...
常见问题
information_schema.file_storage 展示文件数据源配置信息，包含文件数据源读锁、写锁的持有情况。示例如下：select URI,ENGINE,ROLE,READ_LOCK_COUNT,WRITE_LOCK_COUNT from information_schema.file_storage where ENGINE='OSS';...
开启透明数据加密TDE
云数据库Redis支持透明数据加密TDE（Transparent Data Encryption），可对RDB数据文件执行加密和解密。您可以通过控制台启用TDE功能，对RDB数据进行自动加密和解密，以满足提升数据安全性及合规需要。前提条件 实例存储介质为 Redis企业版 ...
概述
技术架构 集群中所有读写节点的数据文件都存放在共享存储（PolarStore）中，全局只读节点通过分布式文件系统（PolarFileSystem）来共享底层存储（PolarStore）中已有的读写节点的数据文件。您可以通过全局只读地址连接全局只读节点，通过...
将NAS数据迁移至本地
重要 下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据下载，避免占用业务带宽。具体操作，请参见 使用新购ECS作为数据传输中转节点。通过SFTP客户端迁移数据 当有少量文件需要一次性下载时，建议您在本地系统上...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
Hudi数据源
查询性能分析 SelectDB使用Parquet Native Reader读取COW表的数据文件，使用Java SDK（通过JNI调用hudi-bundle）读取MOR表的数据文件。在Upsert场景下，MOR表中依然会有数据文件没有被更新，这部分文件可以通过Parquet Native Reader读取。...
使用OSS Foreign Table导出数据
关于ORC与 AnalyticDB PostgreSQL版 的数据类型的区别，请参见 ORC文件数据类型对照表。创建OSS Server和创建OSS User Mapping 使用OSS FDW前您需要提前创建OSS Server以及OSS User Mapping。创建OSS Server的具体方法，请参见 创建OSS ...
上传数据
上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
上传数据
上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
- 产品推荐
- 这些文档可能帮助您