ngram-count

参数设置 N-grams的最大长度 设置N-grams的最大长度,默认为3。执行调优 可选,核心个数 默认自动选择。可选,单个核心使用的内存数 默认自动选择,单位为MB。方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件...

使用限制

产品规格 限制项 说明 每个账号在单个地域内可创建的文件系统数量 通用型NAS:20个 极速型NAS:200个 单个文件系统可创建挂载点的数量 通用型NAS:2个 极速型NAS:1个 单个文件系统最大文件数 通用型NAS:10亿 极速型NAS:5亿 单个文件系统...

创建同步计划

当同步数据量极文件数据极多,同步任务存在性能问题需要调优时,建议调整。单个子任务最大文件数:根据调优情况修改即可。单个子任务最大数据量:根据调优情况修改即可。创建计划完成后,您可以在 同步计划 页签看到已创建同步计划。...

通过文件管理优化性能

在进行合并之后,在OSS中生成两个877MB的大文件(OPTIMIZE生成的文件最大为1GB)。在执行OPTIMIZE之后,重新执行上述查询,查询时间为7s。可以看出,在优化之后查询性能得到很大的提升。重要 在Databricks Runtime 6.0及更高版本中可用。...

数据库

blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位:毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位:毫秒。stats_reset timestamp with time zone 统计信息最近一次...

数据库

blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位:毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位:毫秒。stats_reset timestamp with time zone 统计信息最近一次...

使用oss_fdw读写外部数据文本文件

dir指定的虚拟文件目录中的所有文件(不包含子文件夹和子文件夹下的文件)都会被匹配和导入到数据库。prefix:指定数据文件对应路径名的前缀,不支持正则表达式,且与 filepath、dir 互斥,三者只能设置其中一个。format:指定文件的格式,...

读写外部数据文本文件(oss_fdw)

dir指定的虚拟文件目录中的所有文件(不包含子文件夹和子文件夹下的文件)都会被匹配和导入到数据库。prefix 指定数据文件对应路径名的前缀,不支持正则表达式,且与 filepath、dir 互斥,三者只能设置其中一个。format 指定文件的格式,...

读取数据

表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。说明 组成表的基本单位为行,行由主键和属性列组成。其中主键是必须的,且每一行的主键列的名称和类型相同;属性不是必须的,且每一行的属性...

使用限制

资源限制 阿里云DBFS在资源使用上的限制如下表所示:资源 限制说明 每个文件系统的挂载点数量 上限16个挂载点同时共享式读写。每个账号在单个区域内可创建的文件系统数量 20个。客户端限制 阿里云DBFS客户端的限制:最多可同时打开 65535 ...

基本概念

本文介绍了文件存储NAS相关基本概念,以便于您更好的理解和使用NAS。文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展...出于性能调优的考虑,建议您提高应用程序的并发度,并增加读写操作的块大小,以发挥NAS文件系统的最佳性能。

迁移指南

对于分区中有许多文件的大型表,这可能比从Parquet表加载单个分区(使用直接分区路径或WHERE)要快得多,因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时,应避免执行以下操作,这些操作会绕过...

EFC加速NAS或CPFS文件访问

kubectl exec-it efc-app-1-bash-c"time cat/data/allzero-demo>/dev/null"预期输出:real 0m9.970s user 0m0.012s sys 0m2.283s 预期输出表明读取10G文件需要9.970s,读取速度为1034.3 MiB/s。可以看到,没有使用缓存时,数据读取速度为...

OSS数据源

OSS数据源为您提供读取和写入OSS的双向通道,本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能,OSS本身是无结构化数据存储。对于数据集成而言...

追加上传

文件已存在时:如果文件为追加类型文件,且设置的追加位置和文件当前长度相等,则直接在该文件末尾追加内容。如果文件为追加类型文件,但是设置的追加位置和文件当前长度不相等,则抛出 PositionNotEqualToLength 异常。如果文件为非追加...

其他问题

建议避免跨平台挂载NAS文件系统,以免导致一些操作兼容的问题(例如,支持的字符集、文件名的长度(Windows支持255宽字符,Linux支持255 UTF8字节)不一致等问题)。更多信息,请参见 挂载文件系统场景说明 和 读写访问文件类问题。一键...

文件存储 HDFS 版和对象存储OSS双向数据迁移

文件存储 HDFS 版 到对象存储OSS的数据迁移为例,数据迁移任务打开 文件存储 HDFS 版 的文件F,根据当前系统状态决定文件F的长度L,将L字节迁移到对象存储OSS。如果在数据迁移过程中,有并发的写者写入,文件F的长度将超过L,但是数据...

容量和清理说明

文件 blob ID 清理 假如已知大文件的 blob ID,可以将大文件的 blob ID写入一个文件中,比如在文件 ids.txt 中写入下述几个大文件 blob ID e152814d14939a20f5399acf80b606ad018f872a b747204ba81985a3f41314ef55d4c4a24868ede2 然后执行...

Linux系统挂载NFS协议文件系统

创建NAS NFS协议文件系统后,您需要使用云服务器来挂载该文件系统,以实现多个云服务器共享访问文件系统的目的。本文介绍如何通过阿里云Linux ECS实例挂载NAS NFS协议文件系统。前提条件 在创建文件系统的地域,已有可用的云服务器ECS...

ListDirectoriesAndFiles-查询目录和文件列表

获取通用型NAS指定目录下的低频存储文件和包含低频存储文件的子目录列表。接口说明 仅通用型 NAS 文件系统支持该功能。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成...

在云桌面内挂载CPFS文件系统

您可以在阿里云控制台创建CPFS文件系统,通过NFS协议服务把CPFS文件系统挂载至对应工作区下的无影云桌面,挂载成功后便可以在云桌面上把CPFS文件系统当作一个普通的目录来访问和使用。本文介绍如何将CPFS文件系统挂载至云桌面以及如何验证...

GetDirectoryOrFileProperties-查询低频介质的文件信息

查询指定目录下是否包含低频存储文件,或者查询指定文件是否为低频存储文件。接口说明 仅通用型 NAS 文件系统支持该功能。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动...

镜像常见格式

镜像格式 镜像简介 镜像特点 QCOW2 QCOW2是QEMU实现的一种虚拟机镜像格式,是用一个文件的形式来表示一块固定大小的块设备磁盘。支持更小的磁盘占用。支持写时拷贝(CoW,Copy-On-Write),镜像文件只反映底层磁盘变化。支持快照,可以包含...

Parquet(推荐)

Parquet提供列压缩从而可以节省空间,而且它支持读取而非整个文件读取。作为一种文件格式,Parquet与Apache Spark配合的很好,而且实际上也是Spark的默认文件格式。我们建议将数据写到Parquet以方便长期存储,因为从Parquet文件读取...

常用数据类型

在下面的表中显示了常用的内置数据类型。名称 别名 描述 BLOB ...VARCHAR2(n)CHAR VARYING(n),CHARACTER VARYING(n),VARCHAR(n)可变长度的字符串(最大长度为n)。具体内容,请参见 字符型。XMLTYPE 无 XML类型。具体内容,请参见 XML 类型。

CPFS-NFS客户端挂载文件系统(推荐)

挂载选项 挂载文件系统时,可选择多种挂载选项,挂载选项使用半角逗号(,)分隔,说明如下:rsize:定义数据的大小,用于客户端与文件系统之间读取数据。建议值:1048576。wsize:定义数据的大小,用于客户端与文件系统之间写入数据。...

高级配置:内存缓存本地目录

部分模型推理场景中,业务进程通过OSS或NAS将模型文件挂载到本地目录,进行模型读取、模型切换以及容器的扩缩容等操作时,会受网络带宽的影响,存在较的延时问题。为了解决这个问题,EAS 提供了本地目录内存缓存加速的功能。通过将...

创建数据源

协议类型 说明 适用场景 SP 简单协议布局模板(Simple Protocol)文件没有文件头和列头 文件只有列头和文件内容 DE 蚂蚁集团自主提供的一种文件交互格式 适用于第一行为文件头、第二行为列头、从第三行往后都是文件内容的情况 FUND 国标...

集群吞吐性能测试

将500个大小为4 GB的文件按顺序写入到 文件存储 HDFS 版,读写数据的缓存大小为8 MB,并将统计数据写入/tmp/TestDFSIOwrite.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-...

高级管理FAQ

以下操作会更新访问时间:读取文件 写入文件 以下操作不会更新访问时间:重命名一个文件 修改文件的用户(user)、用户组(group)、模式(mode)等文件属性 如果一个目录配置了多项生命周期管理策略,文件系统会执行哪一项策略?...

使用PyJindo访问阿里云OSS-HDFS

本文将以两种方式为您介绍如何在Python 3.6及更高版本中,利用Python的工具包...seekable()bool 表示该文件流是否支持随机访问(即能否通过seek()函数改变文件读写位置)。closed()bool 表示该文件流是否已关闭。close()无 关闭当前文件流...

配置高级告警规则

AliyunNas_CPFSCapacityUsed{fileSystemId="cpfs-192ec9bd1a47xxxx"}/AliyunNas_CPFSCapacity{fileSystemId="cpfs-192ec9bd1a47xxxx"}>0.8 说明 在创建已分配文件数与最大文件比例触发告警的规则时,已分配文件数量不可大于可承载的...

HDFS概述

HDFS适用于规模数据的分布式读写,特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下:具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面,方便管理。拥有类似于Linux的文件权限管理。Locality感知,...

Decrypt

说明 单次加解密的数据量越,网络传输失败可能性越,网络传输所需时间越长,KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...

生命周期管理FAQ

以下操作会更新访问时间:读取文件 写入文件 以下操作不会更新访问时间:重命名一个文件 修改文件的用户(user)、用户组(group)、模式(mode)等文件属性 如果一个目录配置了多项生命周期管理策略,文件系统会执行哪一项策略?...

访问NAS示例

print('{}{}'.format(subindent,f))return 'success' def randomString(n):return ''.join(random.SystemRandom().choice(string.ascii_uppercase+string.digits)for_in range(n))创建读取NAS文件的函数 登录 函数计算控制台,在左侧导航栏...

字符型

如果尝试存储超过字符n长度的值,将产生错误。除非超出长度的字符都是空格,这种情况下将会把字符串按照最大长度截断。CHAR 对于类型CHAR来说,如果不指定n的值,n就会默认为1。如果要存储的字符串长度小于n,那么类型CHAR的值将会用空格补...

性能优化最佳实践

避免使用小文件 处理小文件并非Hadoop的设计目标,Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task,而task启动将耗费大量时间,造成作业的大部分时间都耗费在启动task和释放task...

数据组织优化

Clustering服务可以很好的解决大文件数量膨胀引发的一系列效率低下的读写问题,但不是频率越高越好,执行一次也会消耗计算和IO资源,至少数据都要全部读写一遍,存在一定的读写放大问题。因此执行策略的选择尤其重要,当前MaxCompute引擎...

SQL处理优化

在查询效率上,跟查询普通表最大的不同在于,读取源表数据文件时,可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除,详情可参见 TimeTravel 查询设计,从而极影响读取效率,因此对于查询频率和效率要求比较高的业务场景,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储HDFS版 文件存储 CPFS 数据库文件存储 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用