FS-文件系统
本文介绍FS-文件系统的使用方法及示例。硬件平台 产品型号 是否支持 硬件类型 固件版本号 HaaS600Kit 是 开发板 4.0.1 HaaS510 是 DTU 4.0.1 HaaS520 是 DTU 4.0.1 HaaS530 是 DTU 4.0.1 HaaS531 是 DTU 4.0.1 HaaS632-LT32V 是 蜂窝模组 4...
Dataphin中执行hadoop fs-ls命令方法
概述 Dataphin中执行hadoop fs-ls命令的方法。详细信息 创建HADOOP_MR任务，可以执行hadoop fs-ls/命令。适用于 Dataphin
AD FS和无影云电脑便捷用户SSO
本文介绍AD场景下，通过AD FS（AD用户）与 无影云电脑（专业版）（便捷用户）进行单点登录SSO的配置流程。配置SSO后，当终端用户访问云电脑时，验证AD FS的用户信息进行登录，实现安全统一的登录管理。背景信息 单点登录SSO（Single Sign ...
AD FS与云SSO进行单点登录的示例
本文为您提供AD FS（Active Directory Federation Service）与云SSO进行单点登录（SSO登录）的示例。背景信息 假设企业使用Active Directory（AD）进行本地用户管理，且已在阿里云资源目录（RD）中搭建了多账号体系结构。企业希望经过配置...
AD FS和无影云电脑AD用户实现SSO
如果 无影云电脑 已经对接企业AD，您可以参考本文配置AD FS和 无影云电脑 之间的SSO。配置SSO后，当终端用户使用AD账号登录 无影终端 时，在AD FS页面通过验证AD用户信息方可成功登录。准备工作 已完成企业AD和 无影云电脑 对接并创建企业...
Dataphin同步数据到HIVE报错“请确认您的配置项fs....
问题描述 用户在使用同步任务，想HIVE集群同步数据时，会出现报错“请确认您的配置项fs.defaultFS,path的值是否正确,是否有读写权限,网络是否已断开！java.io.FileNotFoundException”。问题原因 1.用户在配置数据源时，没有配置core-site....
ECS实例宕机并产生“VFS:Unable to mount root fs on ...
如果您的ECS实例在启动过程中循环宕机，且产生了 VFS:Unable to mount root fs on unknown-block 日志信息，则可以参考本文提供的方案解决问题。问题现象 ECS实例在启动过程中出现循环宕机，无法正常进入系统，且产生类似于如下所示的调用...
使用ossfs上传大文件时提示“There is no...directory by s3fs”
是通过分片进行上传，分片大小默认为10 MB，分片最大数量为1000个，上传小文件正常，当上传大文件时，提示以下错误：There is no enough disk space for used as cache(or temporary)directory by s3fs 问题原因 ossfs在上传文件时会写一些...
使用AD FS进行用户SSO的示例
本文提供一个以AD FS与阿里云进行用户SSO的示例，帮助您理解企业IdP与阿里云进行SSO的端到端配置流程。本文以在Windows Server 2012 R2 ECS实例上搭建的AD FS为例进行介绍。准备工作 配置SSO登录前，您需要完成以下工作：在Windows Server ...
使用AD FS进行角色SSO的示例
本文提供一个以AD FS与阿里云进行SSO的示例，帮助用户理解企业IdP与阿里云进行SSO的端到端配置流程。本文以在Windows Server 2012 R2 ECS实例上搭建的AD FS为例进行介绍。背景信息 企业使用Active Directory（AD）进行员工管理，并通过AD ...
var/log/messages日志出现“EXT4-fs error(device ...
本文介绍Linux系统的ECS实例中，/var/log/messages 日志出现“EXT4-fs error(device XXX):_ext4_find_entry:XXX”错误的问题原因和解决方案。问题现象 Linux系统的ECS实例中，/var/log/messages 日志出现类似如下错误。EXT4-fs error...
HDFS常见命令介绍
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
迁移HDFS数据到OSS
在示例命令中配置AccessKey hadoop jar jindo-distcp-tool-${version}.jar-src/tmp/-dest oss:/examplebucket/-hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m*-hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7dyNKG*-...
Apache HDFS透明缓存加速
可选 fs.jindofsx.hdfs.XXX.dfs.namenode.rpc-address.nn1 表示hdfs-site.xml中 dfs.namenode.rpc-address.XXX.nn1 的值。例如：master-1-1:8020。可选 fs.jindofsx.hdfs.XXX.dfs.namenode.rpc-address.nn2 表示hdfs-site.xml中 dfs....
改写Jindo HDFS客户端路径
参数 参数值 fs.jindo.shim.path-rewrite.testrule.source hdfs:/emr-cluster/osspath fs.jindo.shim.path-rewrite.testrule.target oss:/jindo-bucket/您可以通过SSH登录集群的主节点，执行如下命令，查看改写情况。hadoop fs-ls/通过如下...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
使用JindoFS SDK免密功能
public class test { public static void main(String[]args)throws Exception { FileSystem fs=FileSystem.get(new URI("ossPath"),new Configuration());RemoteIterator<LocatedFileStatus>iterator=fs.listFiles(new Path("ossPath"),...
Jindo CLI支持操作JindoFSx命令
jindo fs-load-data<options><path>参数 描述 options 各种可选参数：s：表示缓存过程同步执行。即缓存完成前命令不退出，日志直接打印在控制台上，建议开启。replica：缓存副本数量，默认缓存1个副本。R：递归缓存文件，当 path 是文件夹...
迁移HDFS数据到OSS-HDFS
hadoop jar jindo-distcp-tool-6.1.0.jar-src/tmp/-dest oss:/examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir/ --hadoopConf fs.oss.accessKeyId=LTAI5t7h6SgiLSganP2m*-hadoopConf fs.oss.accessKeySecret=KZo149BD9GLPNiDIEmdQ7...
使用JindoFS加速OSS文件访问
apiVersion:data.fluid.io/v1alpha1 kind:Dataset metadata:name:hadoop spec:mounts:mountPoint:oss:/test-bucket/options:fs.oss.accessKeyId:<OSS_ACCESS_KEY_ID>fs.oss.accessKeySecret:<OSS_ACCESS_KEY_SECRET>fs.oss.endpoint:...
按Bucket配置OSS/OSS-HDFS Credential Provider
HDFS AccessKey<configuration><property><name>fs.oss.bucket.XXX.accessKeyId</name><value>OSS/OSS-HDFS bucket的AccessKey Id</value></property><property><name>fs.oss.bucket.XXX.accessKeySecret</name><value>OSS/OSS-HDFS bucket...
按Bucket配置OSS/OSS-HDFS Credential Provider
HDFS AccessKey<configuration><property><name>fs.oss.bucket.XXX.accessKeyId</name><value>OSS/OSS-HDFS bucket的AccessKey Id</value></property><property><name>fs.oss.bucket.XXX.accessKeySecret</name><value>OSS/OSS-HDFS bucket...
迁移OSS-HDFS服务不同Bucket之间的数据
本文介绍如何使用阿里云Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。前提条件 已创建阿里云EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤，请参见 创建集群。如果您使用的是自建ECS集群，需确保集群...dls.aliyuncs....
通过Jindo CLI命令访问OSS/OSS-HDFS
本文为您介绍如何通过Jindo ...HDFS示例如下：jindo fs-mkdir oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/dir/ 查看文件或目录信息 查看examplebucket下的文件或目录信息，访问OSS-HDFS示例如下：jindo fs-ls oss:/examplebucket....
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop ...拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，访问OSS-HDFS示例如下：hadoop fs-cp oss:/examplebucket....
- 产品推荐
- 这些文档可能帮助您