PTS在并发和RPS模式下读取多文件参数的方式
并发模式下某API文件读取示例 文件读取方式 若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准。若先设置了基准参数，还可设置是否轮询一次。您可以在 ...
简介
API 应用程序编程接口 用户开放API，在API网关录入API，以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API，首先需要创建API分组 每个API分组拥有一个二级域名，两个Stage 用户需要将已经备案且解析至...
集群吞吐性能测试
顺序读取 文件存储 HDFS 版 上面500个大小为4 GB的文件，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOread.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-read-...
基础术语
中文 释义 API 应用程序编程接口，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。API 分组 用于将 API 进行逻辑的分组，同个分组下的 API 使用相同的分组标识做隔离。分组标识 是网关全局的唯一标识，用于定位在访问的 API。...
性能监控FAQ
优化该参数将提升频繁读取文件属性场景的文件系统性能。maxFileToCache 最大缓存的inode数量。优化该参数将提升反复访问海量小文件场景的文件系统性能。prefetchPct、prefetch及write-behind buffer 占用page pool的最大比例。优化该参数将...
在文件存储 HDFS 版上使用Presto
说明 在本文中Presto是通过连接Hive的元数据服务来读取 文件存储 HDFS 版 上的数据，在 文件存储 HDFS 版 上使用Presto时需要额外配置一些依赖包。具体操作，请参见 步骤二：配置Presto。步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在...
使用前须知
nas-nfs-nas_audit_dashboard_cn 展示NAS文件系统操作统计信息，包括创建操作数、删除文件数、读取文件数等信息。nas-nfs-nas_detail_dashboard_cn 展示NAS文件系统明细信息，包括最近访问的文件数量、操作趋势等信息。SMB nas-smb-nas_...
是否支持使用固定的地址访问已上传的文件？
公共读以及公共读写权限的文件 支持 使用固定的地址访问已上传的文件，私有权限的文件 不支持 使用固定的地址访问已上传的文件。文件读写权限为公共读或者公共读写 在存储路径未修改的情况下，公共读或者公共读写的文件的访问地址不变。即...
生命周期管理概述
当您需要频繁访问低频存储或归档存储中的文件时，文件存储NAS支持文件或目录取回操作，避免频繁读写文件产生过多的读写费用。价格低廉，享受高品质无忧存储服务 例如，通用性能型NAS文件系统在开启低频存储后，相对于原通用性能型NAS文件...
元数据性能测试
如果为true,则读取文件并报告平均读取时间.默认为false.非必选项>create_write性能测试 使用20个Map，10个Reduce的MapReduce作业，创建1000个文件。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar...
FTP数据源
您必须保证读取文件为类CSV格式，并且提供给数据同步系统权限可读。如果Path指定的路径下没有符合匹配的文件抽取，同步任务将报错。是 无 column 读取字段列表，type指定源数据的类型，index指定当前列来自于文本第几列（以0开始），value...
计费常见问题
如果只读取文件的一部分，则按照读取的部分产生的流量收费。低频读写流量不区分网络环境，只要发生读写就会产生读写流量费用。执行数据取回任务时，按照目标文件大小收取读流量费用。备份低频存储中的文件时，按照目标文件大小收取读流量...
通用型NAS计费
如果只读取文件的一部分，则按照读取的部分产生的流量收费。低频或归档读写流量不区分网络环境，只要发生读写就会产生读写流量费用。执行数据取回任务时，按照目标文件大小收取读流量费用。备份低频存储或归档存储中的文件时，按照目标文件...
在文件存储 HDFS 版上使用Apache Spark
步骤四：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
读写访问文件类问题
其他读写文件问题 如何解决在NFS协议文件系统中创建文件延迟问题？如何解决向NFS协议文件系统中写入数据延迟问题？为什么两台ECS实例在查询NAS文件系统中同一文件时，文件的属主不同？如何避免多进程或多客户端并发写同一日志文件可能出现...
函数计算挂载文件系统
通过在函数计算配置NAS文件系统，函数能够以类似于访问本地文件系统的方式操作NAS文件，实现文件持久化存储。该方式不仅可以消除本地磁盘空间的限制，还允许不同的函数实例共享文件数据。本文介绍如何为函数配置NAS。前提条件 已创建NAS...
后端签名插件
API绑定后端签名插件后，API 网关向您后端服务请求时会使用这一对Key和Secret对请求内容进行加签处理，您后端服务可以对网关发送过来的请求做对称加签计算，对比网关的签名和服务器端计算的签名是否一致就可以对网关做身份验证。...
推荐的挂载方式
指标 测试场景 ① 未开启CNFS加速客户端 开启CNFS加速客户端 元数据性能 100万文件目录遍历耗时 18min 小于60s 创建写入4 KB文件耗时 3000μs 小于200μs 重复读取4 KB文件耗时 400μs 小于100μs 吞吐性能 单节点读写吞吐性能 ② 200~500 ...
文件权限说明
规则内容为.png 格式的图片只有资源所有者可以进行文件写操作，所有人可以进行读取操作。第二个规则是针对 xxx/yyy/zzz.jpg 这个特定路径的图片，只有资源所有者可以进行文件读写操作。第三个规则是针对除了前两个规则匹配到的文件之外的...
重要组件
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
macOS客户端通过VPN访问SMB协议文件系统
说明 挂载完成后，macOS客户端会去读取挂载的NAS中所有文件。文件读取过程中，myshare 可能显示为空，请您耐心等待。通过macOS客户端命令行操作 执行 mount_smbf 命令行挂载SMB协议文件系统。示例如下：mount_smbfs '/guest@nas-mount-...
文件
本文介绍文件类WVFile相关的JSAPI，供您在通过跨平台DevOps创建H5端应用或者小程序时参考。文件类WVFile的JSAPI提供写入、读取文件内容、获取文件信息、文件下载、文件上传的相关能力。WVFile.write 将指定的文件内容写入磁盘。输入参数...
导入导出 API
您可以在 API 网关控制台上以 JSON 文件的形式对 API 进行批量导入及导出。说明 为减少操作耗时，建议一次性导入/导出 API 的数量不超过 100 个。导入 API 的 JSON 格式请参见模板 API Json 文件格式。批量导出 API 在 API 发布>API 管理 ...
API概览
本产品（文件存储（NAS/CPFS）/2017-06-26）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...
FS-文件系统
mode String 否 读取文件内容返回格式不填此参数返回为String数组，填入 'b' 为字节数组。返回 返回值 说明 data Array类型，读取到的数据。fs.unlinkSync(String path)删除对应PATH的文件。入参 属性 类型 是否必填 描述 path String 是 ...
配置HDFS输入组件
忽略：当读取的文件不存在时，忽略该文件，并继续读取其他文件。置任务失败：当读取的文件不存在时，终止该任务并置失败。文件为空时 当读取的文件为空时，支持忽略或置任务失败。忽略：当读取的文件为空时，忽略该文件，并继续读取其他...
API概览
本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
SDK示例
通过调用FileSystem实例的open方法获取读文件的输入流，然后使用该输入流读取 文件存储 HDFS 版 的指定文件的内容。读文件代码样例如下。读文件*@param filePath*@return*@throws IOException*/private StringBuffer readFile(final Path ...
API概览
本产品（文件存储（NAS/CPFS）/2017-06-26）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...
性能说明FAQ
如果您或应用程序发出的请求吞吐超过阈值时，NAS会自动对该请求限速，进而导致延迟增高。通用型NAS可以通过Truncate命令提升吞吐阈值。具体操作，请参见 如何提升通用型NAS文件系统的读写吞吐阈值？极速型NAS可以通过扩容文件系统提升吞吐...
NFS协议
因此，为了提升一致性，NFS还提供了基于文件的CTO（close-to-open）一致性保证，即当两个及以上计算节点同时读写相同的文件时，ECS-1的修改在ECS-2不一定能立即看到。但是，一旦ECS-1打开一个文件，写入若干数据，然后执行了文件关闭操作，...
配置FTP输入组件
文件不存在时 忽略：当读取的文件不存在时，忽略该文件，并继续读取其他文件。置任务失败：当读取的文件不存在时，终止该任务并置失败。数据内容起始行 设置输入组件读取数据的起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则...
配置FTP输入组件
文件不存在时 忽略：当读取的文件不存在时，忽略该文件，并继续读取其他文件。置任务失败：当读取的文件不存在时，终止该任务并置失败。数据内容起始行 设置输入组件读取数据的起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则...
监控与日志
您可以通过OpenAPI直接调用云监控的 DescribeMetricList 接口查看文件系统容量的AlignedSize、SecondaryAlignedSize、FileCount等监控数据及文件系统性能的IopsRead、IopsWrite、LatencyRead、LatencyWrite等监控数据。通过云监控控制台为...
配置OSS文件系统
当文件系统API与OSS API功能对应时，例如顺序的文件读写，通常操作执行的性能较好。而需要组合封装OSS API实现的操作，例如压缩、解压可能用到的文件随机读写操作，可能需与OSS进行多次交互，故性能略差于本地文件系统。不同函数实例之间...
配置OSS文件系统
当文件系统API与OSS API功能对应时，例如顺序的文件读写，通常操作执行的性能较好。而需要组合封装OSS API实现的操作，例如压缩、解压可能用到的文件随机读写操作，可能需与OSS进行多次交互，故性能略差于本地文件系统。不同函数实例之间...
API概览
权限管理 API 标题 API概述 ListReceivedFile 收到的共享文件夹列表 收到的共享，可通过此接口获取到从个人空间授权给此用户的文件列表。ListMyGroupDrive 收到的授权团队空间列表 列举被授权的团队空间列表。FileRemovePermission 取消...
Linux系统挂载NFS协议文件系统
hard：在文件存储NAS暂时不可用的情况下，使用文件系统上某个文件的本地应用程序时会停止并等待至该文件系统恢复在线状态。建议启用该参数。timeo：指定时长，单位为0.1秒，即NFS客户端在重试向文件系统发送请求之前等待响应的时间。建议值...
性能监控
您可以通过阿里云云监控来监控文件系统读请求频率、读取请求大小、每秒读取字节数、存储空间等。并通过设置报警规则，及时获取异常信息。本文介绍如何查看性能监控详情及创建报警规则。前提条件 已创建 文件存储 HDFS 版 文件系统。具体...
导出标准OAS定义
概述 本文主要介绍了API网关可以将API资源导出为标准OAS定义，结合API网关的 导入标准OAS定义，您可以：跨平台跨地域迁移数据：借助API网关的导出和导入功能，您可以方便地从其他平台或API网关导出OAS规范的API数据，并在其他地域或账号下...
- 产品推荐
- 这些文档可能帮助您