常见命令
Copied file:/root/hello_world.txt to/dir/logs2 copyToLocal 注意 下载Alluxio指定路径的文件到本地路径时，Alluxio Shell使用的是 copyToLocal 命令，Hadoop Shell使用的是 get 命令。下载Alluxio指定路径的文件到本地路径。语法 ...
HDFS常见命令介绍
get 下载HDFS指定路径的文件到本地路径。rm 删除HDFS系统中指定的文件。rmr 递归删除HDFS系统中指定的目录及其文件。关于Apache Hadoop的详细介绍，请参见 Apache Hadoop官网。mkdir 在HDFS文件系统中创建目录。语法 hadoop fs-mkdir[path2...
使用PyJindo访问阿里云OSS-HDFS
本文将以两种方式为您介绍如何在Python 3.6及更高版本中，利用Python的工具包PyJindo来操作OSS-HDFS。背景信息 方式一：直接使用...endpoint=bucket+".cn-*.oss-dls.aliyuncs...._path)#使用fs.open()函数以二进制写入模式打开指定路径的文件...
通过HDFS Shell连接并使用文件引擎
Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS Shell管理文件引擎时的常用命令及使用示例。环境配置 请参见 下载...
备份阿里云NAS文件
您也可以在 输入文件列表 框中手动填写不需要恢复的文件列表，其余路径的文件将被全部恢复。在文件列表每行填写一个路径，且每一行只能以源备份路径最后一个文件夹开头。例如备份路径为/test/data，要恢复data文件夹下file.txt和abc，请按...
使用OSS缓存插件加速构建
引擎执行完毕时，本地指定路径的文件内容，将被上传至OSS Bucket。在执行上下文中定义OSS缓存配置 在流水线、流水线模板或任务模板中，均可以在执行上下文中定义OSS缓存配置。示例如下。提交流水线执行 kind:Pipeline name:"p-...
使用OSS缓存插件加速构建
引擎执行完毕时，本地指定路径的文件内容，将被上传至OSS Bucket。在执行上下文中定义OSS缓存配置 在流水线、流水线模板或任务模板中，均可以在执行上下文中定义OSS缓存配置。示例如下。提交流水线执行 kind:Pipeline name:"p-...
保存联邦表
file_uri String/Dict 可选 是否要指定保存的文件路径，格式为，ID 为参与方 ID，Path 为文件路径。文件路径应为绝对路径。若为 None，则将使用/home/admin/agent/data/dataset/feddataframe/<UID>.csv 作为默认路径。默认为 None。请求...
如何处理备份失败问题
在使用 云备份 服务备份ECS、文件存储NAS、对象存储OSS或自建机房内的文件、数据库、虚拟机、或NAS等数据源时，可能会出现备份失败的问题。本文介绍备份失败处理操作指导。步骤一：判断是否有安装客户端 无需安装客户端的数据源 对于阿里云...
联邦预处理
file_uri String/Dict 否 是否要指定保存的文件路径，格式为，ID 为参与方 ID，Path 为文件路径。文件路径应为绝对路径。若为 None，则将使用/home/admin/agent/data/dataset/feddataframe/<UID>.csv 作为默认路径。默认为 None。加载预...
访问路径
通过添加收藏路径，您可以快速访问OSS的目标资源，包括Bucket或目录...单击指定路径后的 可置顶该路径；单击 可删除该路径。历史访问路径 登录 OSS管理控制台。在左侧导航栏的 历史访问路径 区域，您可以查看OSS自动保存的最近10条访问路径。
归档
文件列表相当于归档路径的一个子路径，子路径的匹配规则如下：如果子路径前缀为正斜线（/），将在归档路径下按照全路径匹配过滤。例如归档文件路径为/ifs/dataset，文件列表填写为/subdir/data，则归档/ifs/dataset/subdir/data 路径下的...
为什么很长时间没有产生清单结果？
查看清单结果文件的路径有误 解决方法：请根据以下示例检查您查看清单结果文件的路径是否正确。清单文件的目录结构如下：dest_bucket└─destination-prefix/└─src_bucket/└─inventory_id/├─YYYY-MM-DDTHH-MMZ/│├─manifest.json│...
备份大规模文件系统
文件分页切片大小 备份客户端组允许添加多个客户端并发执行一个备份作业，设置文件分页切片大小会将不少于该指定数量的文件分配给某一个客户端进行备份。创建计划完成后，备份计划的Plan状态为打开状态，云备份 将按照指定的备份起始时间、...
目录配额
配额类型 是 统计型：仅统计指定目录路径的文件系统使用量。限制型：除了统计和展示外，超出配额后，I/O会被限制。容量限制(GiB)否 当 配额类型 为 限制型 时，需要配置该参数。表示配额用户在配额路径下所拥有文件和目录的最大存储量。...
备份极速型NAS
文件列表相当于备份路径的一个子路径，子路径的匹配规则如下：如果子路径前缀为正斜线（/），将在备份路径下按照全路径匹配过滤。例如备份文件路径为/ifs/dataset，文件列表填写为/subdir/data，则备份（或不备份）/ifs/dataset/subdir/...
创建同步计划
包含下列文件、排除下列文件：选择任意选项后，在 输入文件列表 框中手动填写文件列表，将按照规则同步所选路径下指定的文件。增量文件列表：仅当 同步源 为OSS和S3类型时，支持基于增量文件列表进行同步。该路径必须是源端路径下的一个子...
API概览
查询相关接口 API 标题 API概述 CheckCertificate 查询证书状态 检测指定app的iOS证书过期时间及当前证书状态。QueryPushRecords 查询推送记录 分页查询推送记录，并提供一些简单的筛选能力。QueryDeviceStat 设备新增与留存 查询app维度的...
备份本地NAS文件
文件分页切片大小 备份客户端组允许添加多个客户端并发执行一个备份作业，设置文件分页切片大小会将不少于该指定数量的文件分配给某一个客户端进行备份。如果在首次备份任务完成后，需要创建更多的备份计划，建议通过 NAS实例 页签，单击...
备份极速型NAS
文件列表相当于备份路径的一个子路径，子路径的匹配规则如下：如果子路径前缀为正斜线（/），将在备份路径下按照全路径匹配过滤。例如备份文件路径为/ifs/dataset，文件列表填写为/subdir/data，则备份（或不备份）/ifs/dataset/subdir/...
OSS怎样上传下载文件夹（目录）？
下载文件夹：SDK不支持直接下载文件夹，仅支持通过指定文件完整路径的方式将文件夹下的文件下载到本地。假设您需要将某个Bucket中文件夹folder下包含的所有文件下载到本地local文件夹：已知文件夹folder下包含的所有文件 例如，folder文件...
Logtail机器组问题排查思路（主机场景）
如果返回结果为空，则您需要查看指定路径中是否已有用户标识文件。说明 用户标识文件路径如下：Linux系统：/etc/ilogtail/users/Windows系统：C:\LogtailData\users\ 如果指定路径下无用户标识文件或用户标识文件配置错误，请按照如下方法...
文件存储CPFS（NFS协议）备份
文件列表相当于备份路径的一个子路径，子路径的匹配规则如下：如果子路径前缀为正斜线（/），将在备份路径下按照全路径匹配过滤。例如备份文件路径为/ifs/dataset，文件列表填写为/subdir/data，则备份（或不备份）/ifs/dataset/subdir/...
JindoDistCp使用说明
您可以在dest中指定拷贝路径的根目录，如果不存在会自动创建。如果您需要拷贝单个文件，dest需指定为目录。hadoop jar jindo-distcp-tool-${version}.jar-src/test.txt-dest oss:/example-oss-bucket/tmp 使用-bandWidth 版本 OSS OSS-HDFS...
客户端命令行工具的安装和使用
说明 指定日志文件的路径目前只支持Java客户端日志中sessionId的提取，Java客户端日志和业务日志默认情况下是同一份日志。mseutil nacos命令 Nacos通用选项 是否可选 默认值 描述-namespaceId/-n 可选<空>指定命名空间ID。serviceName/-s ...
恶意文件检测SDK
功能说明 恶意文件检测SDK为云端检测方案，使用该功能会将您的文件上传到云端进行检测。支持以下两种使用方式：调用SDK检测离线文件：通过SDK接入的方式检测恶意文件，在返回结果中获取恶意文件信息。支持通过Java或Python方式接入。云安全...
FTP Check节点
FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在，则启动调度下游任务，不存在，则按照配置的间隔时间重复检测，直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号...
上传文件至云手机
在云手机的文件管理器的指定路径或者通过搜索，查看已上传的文件。通过控制台上传文件（单台或者批量）您可以通过控制台对一台或者多台云手机执行上传文件操作，最多同时对10台云手机上传文件。在云手机实例同一地域创建存储空间（Bucket）...
sync（同步OSS文件到本地）
delete 将目的端指定路径下的其他文件都删除，仅保留本次同步的文件。警告 建议您使用-delete 选项前开启 版本控制，防止数据被误删。backup-dir 指定目标文件夹，用于保存目的端存在而源端不存在的文件。enable-symlink-dir 同步链接子...
文件审核
功能项 文件检测 支持检测图片所在的文件格式 支持DOC、DOCX、PPT、PPTX、PDF、XLS、XLSX、TXT格式 检测图片中的文字 支持 文件大小限制 200 MB 同时检测文件的数量 10路 近线检测模式（用于批量文件检测）支持 其他 支持开启或关闭检测...
sync（同步本地文件到OSS）
本地根目录 examplebucket└─localfolder└─destfolder/├─d.txt├─a.txt├─e.png├─b.txt├─e.png└─C/同步本地文件夹到OSS，并删除OSS指定路径下已存在而本地端不存在的文件 通过增加-delete 选项，删除目的端存在而源端不存在的...
计费常见问题
当开启回收站功能后，在文件保留时间内回收站中暂存的文件将按照原存储类型计费。即删除容量型文件系统中的文件后，该文件暂存在回收站中将按照容量型存储容量计费；删除低频存储中的文件后，该文件暂存在回收站中将按照低频存储容量计费；...
sync（在OSS之间同步文件）
delete 将目标Bucket指定路径下的其他文件都删除，仅保留本次同步的文件。警告 建议您使用-delete 选项前开启 版本控制，防止数据被误删。enable-symlink-dir 同步链接子目录。disable-all-symlink 同步目录时，忽略所有的链接子文件以及...
搜索语法说明
file 指定搜索的代码文件路径（file path）file:/home/admin/logs 表示文件路径，支持通配符 ext 支持搜索的文件扩展名类型，如 txt，md ext:txt，表示搜索文件扩展名为 txt 的文本或文件 lang 支持搜索的编程语言，如 Java，C lang:Java，...
文件权限说明
您可以通过文件路径指定一个特定的文件，也可以通过JavaScript的正则表达式指代一批文件或使用星号（*）指代所有文件。以下是三种范围书写方式示例：文件路径：xxx/yyy/zzz.jpg。范围是这个特定文件。正则表达式：/.*\\.png/。范围是所有...
OSS-HDFS数据源
离线写 OSS-HDFS Writer提供向OSS-HDFS文件系统指定路径中写入TextFile文件、ORCFile文件以及ParquetFile格式文件。OSS-HDFS支持的数据类型，如下表所示。类型分类 OSS-HDFS数据类型 整数类 TINYINT、SMALLINT、INT和BIGINT 浮点类 FLOAT和...
触发器
过滤规则 指定路径前缀和过滤规则对要处理的文件进行过滤。全部：对路径前缀指定的目录中所有文件进行处理。文件前缀：对路径前缀指定的目录中文件名匹配到特定前缀的文件进行数据处理，多个前缀以半角逗号（,）分隔。文件后缀：对路径前缀...
创建文件系统实例后，为什么无法访问文件存储 HDFS 版...
本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查：确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID，与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...
判断文件是否存在
OSS iOS SDK提供了方便的同步接口以检测Bucket中是否存在指定的文件。示例代码 以下代码用于判断指定文件是否存在。NSError*error=nil;BOOL isExist=[client doesObjectExistInBucket:TEST_BUCKET withObjectKey:@"file1m"withError:&error...
使用OSS Foreign Table导出数据
指定路径的方式不同，前缀信息不同：prefix方式：以 prefix 指定的信息为前缀。dir方式：以OSS外表名称为默认前缀。{timestamp} 导出时的时间戳，格式如 YYYYMMDDHH24MISS。{random_key} 随机键值。{seg}{segment_id} 由“seg”和“Segment...
- 产品推荐
- 这些文档可能帮助您