SearchResult类
构造函数 有参构造函数，在创建对象时指定参数 SearchResult(SearchResult other)参数描述 参数名称 类型 描述 other SearchResult 从其它SearchResult对象深度拷贝 获取查询结果 接口定义 获取查询结果 String getResult()返回结果 String...
数据传递
并行（Parallel）状态：同一份输入，将会被深拷贝后同时传输给多个分支。输出将会被收集为Map[String]Any的形式，其中Key是每个Parallel分支的隐式名称“Branch0～BranchN”，对应Value是每个Parallel分支实际的处理结果。循环（Map）状态...
版本发布记录
无 默认开启OSS优化 OSS优化默认开启，解决OSS深度拷贝的性能问题。无 配置Executor最大失败次数 支持配置Spark Executor最大失败次数，默认是Executor数量的2倍。无 作业重试 Spark作业支持自动重试，修复因平台框架抖动引起的稳定性问题...
通过事件通知实时处理OSS文件变动
常见问题 为什么删除文件没有触发事件通知？相关文档 您可以在事件通知规则中自定义您关注的Object，当这些Object发生指定事件时，您可以通过消息服务指定的接收终端，收到Object的事件通知。具体操作，请参见 结合消息服务实现OSS事件通知...
数据迁移概述
什么是离线迁移（闪电立方）OSS API或SDK 使用OSS API或SDK编写代码实现数据上云，适用于有特性需求，且具有较强开发能力的用户。OSS API OSS SDK OSS外部表（gpossext功能）云原生数据仓库AnalyticDB PostgreSQL版支持通过OSS外部表...
常见问题
通过cp命令拷贝数据时报错"input/output error"问题分析：input/output error都是捕获到系统磁盘的错误而产生的报错，可以查看出现报错时，磁盘读写是否存在高负载的情况。解决方案：可以增加分片参数，控制文件读写。使用 ossfs-h 命令...
为什么存储类型转换后，源Object存储类型容量没有减少...
本文介绍为什么存储类型转换后，目标Object存储类型存储容量增加了，但是源Object存储类型容量没有减少的原因以及解决方法。问题描述 转换存储类型后，目标Object存储类型存储容量增加了，但是源Object存储类型存储容量没有减少。问题原因 ...
eRDMA概述
功能简介 什么是eRDMA 弹性RDMA（Elastic Remote Direct Memory Access，简称eRDMA）是阿里云自研的云上弹性RDMA网络，底层链路复用VPC网络，采用全栈自研的拥塞控制CC（Congestion Control）算法，享有传统RDMA网络高吞吐、低延迟特性的...
TensorFlow常见问题
为什么运行过程中出现OOM？TensorFlow有哪些案例？如何查看TensorFlow相关日志？配置两个GPU时，model_average_iter_interval有什么作用？如何开通深度学习功能？PAI提供的深度学习组件包括TensorFlow、PyTorch、Caffe及MXNet，需要进行GPU...
X-Engine简介
X-Engine是阿里云数据库产品事业部自研的联机...X-Engine作为存储引擎，核心的价值还在于性价比，持续提升性能降低成本，是一个长期的根本目标，X-Engine还在Compaction调度、缓存管理与优化、数据压缩、事务处理等方向上进行深层次的探索。
命令行使用说明
将本地文件拷贝到实例中：fastgpu scp/root/test.txt task0.my_job:/root/将实例中的文件拷贝到本地：fastgpu scp task0.my_job:/home/cuda/~/cuda/将本地文件拷贝到my_job集群中所有实例的/root 目录中：fastgpu scp/root/test.txt {my_...
新功能发布记录
2022-05-20 华东1（杭州）、华南1（深圳）、华南2（河源）、华北2（北京）、西南1（成都）什么是OSS ON云盒 2022年03月 功能名称 功能概述 发布时间 支持地域 相关文档 数据索引（Data Indexing）数据索引是OSS对外提供的文件（Object）...
LTS（原BDS）服务介绍
使用指南 日志生命周期管理说明 开启日志订阅后，如果不消费数据，默认日志会保留48小时，超时后订阅关系自动取消，保留的数据自动删除 什么场景会导致“不消费数据”：没有终止任务的前提下直接释放LTS集群；同步任务暂停；使用日志订阅的...
加速访问OSS资源
本文以阿里云OSS服务提供的ossutil工具为例，将美国（硅谷）源Bucket内的文件拷贝至中国香港的客户端。具体安装方式，请参考 下载和安装ossutil。在中国香港客户端的电脑打开命令行窗口。执行以下命令，将美国（硅谷）源Bucket内的文件拷贝...
LTS（原BDS）服务介绍
什么场景会导致“不消费数据”：没有终止任务的前提下直接释放LTS集群，同步任务暂停。使用日志订阅的任务类型：HBase/Lindorm增量同步、数据归档、数据备份和数据订阅。典型场景 集群迁移 使用范围 HBase迁移Lindorm。集群网络的切换，...
基于Flink+Hologres搭建实时数仓
在 实时计算控制台 SQL开发 页面的 查询脚本 页签，将如下代码拷贝到查询脚本，并修改目标参数取值，选中目标片段后单击左侧代码行上的 运行。CREATE CATALOG dw WITH('type'='hologres','endpoint'='<ENDPOINT>','username'='<USERNAME>',...
SmartData常见问题
对象存储OSS因为没有文件和目录的概念，所以不支持文件和目录的Rename操作，需要通过模拟文件系统的方式来实现Rename操作（先拷贝对象至新位置，再删除旧的对象）。JindoFS的Rename性能如何？JindoFS的Rename性能优于社区版本。如果是文件...
基于Flink+Paimon搭建流式湖仓
构建DWD层：主题宽表 创建DWD层Paimon宽表dwd_orders 在 实时计算控制台 SQL开发 页面的 查询脚本 页签，将如下代码拷贝到查询脚本后，选中目标片段后单击左侧代码行上的 运行。CREATE TABLE dw.order_dw.dwd_orders(order_id BIGINT,...
开启版本控制下Object的操作
存储空间（Bucket）开启版本控制后，OSS会为Bucket中所有文件（Object）的每个版本指定唯一的ID值，且Bucket中现有Object的内容和权限保持不变。开启版本控制后，还能够防止意外覆盖或者删除Object，并允许查询和恢复Object的历史版本。...
存储过程
使用方法 USE db GO EXEC sp_rds_copy_database 'db','db_copy' GO 第一个参数是被拷贝的数据库。第二个参数是拷贝的目标数据库。设置数据库在线 T-SQL命令 sp_rds_set_db_online 支持的实例 高可用系列 基础系列 描述 您将数据库设置为...
Hadoop使用JindoSDK访问OSS-HDFS服务
什么是OSS-HDFS服务 通过OSS-HDFS服务，无需对现有的Hadoop、Spark大数据分析应用做任何修改。通过简单的配置即可像在原生HDFS中那样管理和访问数据，同时获得OSS无限容量、弹性扩展、更高的安全性、可靠性和可用性支撑。作为云原生数据湖...
RAM Policy
UploadPartCopy oss:GetObject,oss:PutObject 在UploadPart请求的基础上增加一个请求头x-oss-copy-source来调用UploadPartCopy接口，实现从一个已存在的Object中拷贝数据来上传一个Part。ListParts oss:ListParts 列举指定Upload ID所属的...
基于函数计算创建自定义规则
拷贝并粘贴如下代码至文件 index.py。usr/bin/env python#-*-encoding:utf-8-*-import json import logging from aliyunsdkcore.client import AcsClient from aliyunsdkcore.request import CommonRequest logger=logging.getLogger()#...
通过ALB获取客户端真实IP
常见问题 为什么有100开头的IP在频繁访问ECS实例 负载均衡系统除了会通过系统服务器的内网IP将来自外部的访问请求转到后端ECS实例之外，还会对ECS实例进行健康检查和可用性监控，这些访问的来源都是由负载均衡系统发起的。负载均衡系统的...
通过CLB七层监听获取客户端真实IP
常见问题 为什么有100开头的IP在频繁访问ECS实例 负载均衡系统除了会通过系统服务器的内网IP将来自外部的访问请求转到后端ECS实例之外，还会对ECS实例进行健康检查和可用性监控，这些访问的来源都是由负载均衡系统发起的。负载均衡系统的...
常见报错及解决方案
Q：kubectl cp 的命令从服务器里往容器内拷贝文件失败是什么原因，报错“Cannot open:Permission denied”[root@iZuf62fpujsppnaash57kkZ iris.lc]#kubectl cp car_mac_mapping-1.2-SNAPSHOT-shaded.jar default/spark-spark-3-1-2-s3-...
ASP协议
类别 能力 ASP协议 HDX协议 基础能力 下行链路：云电脑内容流化 支持 支持 上行链路：端侧数据上报 支持 支持 普通云电脑 支持 支持 GPU云电脑 支持 支持 虚拟多通道 支持 支持 文本或图片双向拷贝 支持 支持 文件双向拷贝 支持 支持 端侧...
CopyObject
调用 CopyObject 接口拷贝同一地域下相同或不同存储空间（Bucket）之间的文件（Object）。版本控制 x-oss-copy-source 默认拷贝Object的当前版本，您可以在 x-oss-copy-source 中加入versionId来拷贝指定的Object版本。拷贝Object时，如果...
迁移HDFS数据到OSS
10 增量迁移或拷贝数据 如果您仅希望拷贝在上一次全量迁移或拷贝后源路径下新增的数据，此时您可以结合-update 选项完成数据的增量迁移或拷贝。将HDFS指定目录/tmp 下的数据增量迁移或拷贝到OSS目标路径 oss:/examplebucket/，示例命令如下...
迁移HDFS数据到OSS-HDFS
10 增量迁移或拷贝数据 如果您仅希望拷贝在上一次全量迁移或拷贝后源路径下新增的数据，此时您可以结合-update选项完成数据的增量迁移或拷贝。例如，将HDFS指定目录data/下的数据增量迁移或拷贝到OSS-HDFS目标路径 oss:/destbucket/dir 下...
拷贝文件
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket。使用限制 不支持跨地域拷贝Object。例如，不支持将华东1（杭州）地域下Bucket内的Object拷贝到华东2（上海）地域下的...
迁移OSS-HDFS服务不同Bucket之间的数据
Jindo DistCp全量支持HDFS之间、HDFS与OSS之间、HDFS与OSS-HDFS之间以及OSS-HDFS之间数据拷贝场景，提供多种个性化拷贝参数和多种拷贝策略。使用阿里云Jindo DistCp迁移数据时，有以下优势：效率高，在测试场景中最高可达到1.59倍的加速。...
故障复盘
复盘遵循以下标准流程：过程回溯：可使用5-why方法提出多个问题对处理过程进行深挖。如本次故障为什么会发生？为什么没有提前发现？过程中各个团队是如何处理的？处理过程是否有可以优化的空间？问题剖析：回溯完成过程之后，需要深层次...
挂载访问FAQ
拷贝大文件时报"cp:error writing 'o/file>':Bad file descriptor"，该如何处理？当文件系统无法结束进程时，如何清理客户端泄露的句柄？Windows挂载NFS文件系统 如何检查并解决Windows NFS soft挂载问题？如何解决Windows挂载NFS文件系统...
追加上传
不支持拷贝通过追加上传方式上传的Object，但允许修改Object本身的meta信息。追加上传不支持上传回调操作。操作步骤 使用阿里云SDK 仅支持通过Java SDK在已上传的Appendable类型Object后面直接追加内容，Java SDK要求3.15.0及以上版本。...
读写访问文件类问题
为什么无法创建符号链接文件？为什么SMB协议文件系统挂载点无响应？拷贝大文件时报"cp:error writing 'o/file>':Bad file descriptor"，该如何处理？Windows挂载NFS协议的通用型NAS文件系统兼容性问题 为什么写入文件系统的中文字符在客户...
功能特性
删除文件 拷贝文件 拷贝文件是指在不改变文件内容的情况下，将同一地域下的源Bucket内的文件复制到目标Bucket。拷贝文件 解冻文件 归档存储、冷归档存储或者深度冷归档存储类型的Object需要解冻（Restore）之后才能读取。解冻文件 重命名...
JindoDistCp使用说明
什么是JindoDistCp JindoDistCp是阿里云数据湖存储团队开发的大规模集群内部和集群之间分布式文件拷贝的工具。其使用MapReduce实现文件分发、错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件...
通过SFTP/SCP上传或下载文件（本地主机为Linux或macOS...
SFTP（SSH File Transfer Protocol，SSH文件传输协议）和SCP（Secure Copy，安全拷贝）是两种用于安全文件传输的协议，均使用SSH协议来传输文件。两者的主要区别如下：对比项 SFTP SCP 传输速度 比SCP慢 比SFTP更快 断点续传 支持 不支持 ...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
- 产品推荐
- 这些文档可能帮助您