圆角矩形
图片处理支持保存图片为圆角矩形，并可以指定圆角的大小。参数 参数 描述 取值 2ci 从图片取出圆形区域 参数格式：[radius]-2ci radius:[1,4096]radius指定圆角的半径。但是生成的最大圆角的半径不能超过原图的最小边的一半。注意事项 如果...
图片处理
processImage("image/watermark,text_SGVsbG8g5Zu-54mH5pyN5YqhIQ","target bucket")/图片处理持久化：格式转换，并设置保存图片处理持久化结果的目标bucket。processImage("image/format,jpg","target bucket")/图片处理持久化：格式转换...
图片处理持久化
processImage("image/watermark,text_SGVsbG8g5Zu-54mH5pyN5YqhIQ","target bucket")/图片处理持久化：格式转换，并设置保存图片处理持久化结果的目标bucket。processImage("image/format,jpg","target bucket")/图片处理持久化：格式转换...
控制台快速入门
对象存储OSS帮助您存储图片、音视频等应用，实现海量数据的互联网并发下载，或者结合智能媒体管理服务和图片处理服务进行云端的数据处理。本文以图片文件为例，为您介绍创建存储空间、上传文件、下载文件、分享文件的快速操作指导。前提...
格式转换
通过格式转换参数，您无需将图片下载到本地进行转换，只需指定URL转换存储在OSS内原图的格式。本文介绍对图片进行格式转换时所用到的参数及示例。使用场景 适应不同设备和平台：不同的浏览器、操作系统或移动设备可能支持不同的图片格式。...
渐进显示
图片格式为jpg时有两种呈现方式：自上而下的扫描式 是先模糊后逐渐清晰（在网络环境比较差时明显）默认保存为第一种，如果要指定先模糊后清晰的呈现方式，请使用渐进显示参数。参数 名称 描述 取值范围 pr 1：表示保存成渐进显示的jpg格式...
质量变换
如果图片保存成JPG、WEBP格式，可以支持质量变换。参数 名称 描述 取值范围 q 决定图片的相对质量，对原图按照q%进行质量压缩。如果原图质量是100%，使用 90q 会得到质量为90％的图片；如果原图质量是80%，使用 90q 得到质量72%的图片。...
圆角矩形
您可以通过圆角矩形参数，将存储在OSS内矩形图片的4个角切成圆角。本文介绍使用圆角矩形裁剪图片时所用到的参数及示例。参数说明 操作名称：rounded-corners 参数说明如下：参数 描述 取值范围 r 将图片切出圆角，指定圆角的半径。[1,4096]...
格式转换
如果想把透明填充成白色可以指定 1wh 参数 png 将原图保存成png格式 webp 将原图保存成webp格式 bmp 将原图保存成bmp格式 gif 将gif格式保存成gif格式，非gif格式是按原图格式保存。src 按原图格式返回，如果原图是gif，此时返回gif格式第...
渐进显示
您可以通过渐进显示参数，将OSS内存储的原图修改为渐进显示。...w_200/interlace,1 将PNG格式的图片保存为JPG格式，之后设置成渐进显示 需求及处理参数如下：图片转换为JPG格式：format,jpg 图片设为渐进显示：interlace,1 处理后的URL为：...
从自建HDFS迁移数据
背景介绍 在某些场景下面，我们需要从自建的Hadoop中存储的数据迁移到Lindorm的文件引擎当中。适用范围 阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。修改Hadoop 配置信息，详情请参见 ...
Credential Provider使用说明
使用Hadoop Credential Providers存储AccessKey信息 说明 Hadoop Credential Provider详情的使用方法，请参见 CredentialProvider API Guide。fs.jfs.cache.oss.accessKeyId、fs.jfs.cache.oss.accessKeySecret 和 fs.jfs.cache.oss....
基于Hadoop集群支持Delta Lake或Hudi存储机制
涉及模块 对应阿里云产品 说明 开源Hadoop 本地机房搭建Hadoop集群 云上虚拟机搭建Hadoop集群 阿里云E-MapReduce 原始数据存储在Hadoop集群中。基于Hadoop集群支持Delta Lake或Hudi湖仓一体架构 前提条件 已创建MaxCompute项目（非External...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
配置OSS/OSS-HDFS Credential Provider
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
配置OSS/OSS-HDFS Credential Provider
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
内切圆
您可以通过内切圆参数，将OSS内存储的图片处理成内切圆。本文介绍对象存储OSS图片处理中的内切圆功能参数及示例。参数说明 操作名称：circle 相关参数如下：参数 描述 取值范围 r 指定内切圆的半径。[1,4096]注意事项 如果图片的最终格式是...
Node Labels特性使用
主备切换后，新的Active节点无法读到本地存储的Node Labels信息，所以必须将 yarn.node-labels.fs-store.root-dir 配置为分布式存储路径，例如/tmp/node-labels 或者${fs.defaultFS}/tmp/node-labels（EMR Hadoop默认文件系统为分布式HDFS...
异构数据源访问
准备测试数据集 准备测试数据集，并执行 hadoop fs-put<本地文件名称><文件保存在Hadoop集群的路径>命令将数据集保存在Hadoop集群路径。例如，将本地文件/home/user/file.txt 上传到HDFS的/tmp 目录下，执行 hadoop fs-put/home/user/file....
存储说明
存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储为0.35 元/GB/月 SSD云盘存储为1.00 元/GB/月 说明 实际价格请以控制台...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
HDFS数据源
支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认资源组到HDFS的网络链路比较复杂，建议您使用 独享数据集成资源组 完成数据同步任务。您需要确保您的独享数据集成资源组具备...
功能特性
数据管理 功能集 功能 功能描述 参考文档 存储类型 标准存储 提供高可靠、高可用、高性能的对象存储服务，面向温热数据，适合支持频繁的数据访问。标准存储 低频访问存储 提供高持久性、较低存储成本的对象存储服务。有最小计量单位（64 KB...
创建HBase数据源
背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您需要先完成HBase数据源的创建。更多HBase信息，请参见 HBase官网。使用限制 Dataphin仅支持超级管理员、数据源管理...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
内切圆
图片处理支持将图片只保存为圆形。如果图片的最终格式是png、webp、bmp等支持透明通道的图片，那么图片非圆形区域的地方将会以透明填充。如果图片的最终格式是jpg，那么非圆形区域是以白色进行填充。参数 参数 描述 取值 ci 从图片取出圆形...
图片处理常见问题
如何通过图片处理持久化存储多个规格的图片 如果您需要在存储空间存放除原图外的小图，可以通过图片处理持久化的方式，在图片处理的请求内添加转存参数，将处理后的图片作为文件（Object）保存至指定的存储空间（Bucket）内。关于图片处理...
创建Impala数据源
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
内容安全检测
如果您希望检测OSS存储的图片是否包含违规内容，例如图片内容是否涉黄、涉政、涉恐、涉暴等，您可以选择OSS提供的内容安全检测服务。OSS内容安全服务具有通用性强、易用性高、价格实惠的特点。通过OSS内容安全检测服务可以帮助您提高图片...
功能支持情况
不适用 图片处理 针对OSS内存储的图片文件（Object），您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。不适用 视频截帧 OSS支持截取视频指定时间的内容。不适用 智能媒体管理IMM OSS与智能...
概述
图片服务基础功能 图片服务提供以下功能：获取图片信息 图片格式转换 图片缩放、裁剪、旋转 图片添加图片、文字、图文混合水印 自定义图片处理样式 通过管道顺序调用多种图片处理功能 历史版本说明 图片处理目前有两版API接口，本文档介绍...
存储空间地域属性
✓ ✓ 图片处理 针对OSS内存储的图片文件（Object），您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。✓ ✓ 视频截帧 OSS支持截取视频指定时间的内容。✓ ✓ 智能媒体管理IMM OSS与智能媒体...
图片智能概述
您可以将要分析的图片上传保存到阿里云对象存储OSS上，通过OSS的RESTful数据处理接口 x-oss-process，在任何时间、任何地点、任何互联网设备上对图片进行智能分析。处理参数 OSS支持通过单个参数使用图片智能能力，支持将该参数封装在一个...
创建Impala数据源
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
设置Dataphin实例的计算引擎为Hadoop
集群存储根目录 计算引擎类型为E-MapReduce 5.x Hadoop且集群存储类型为OSS-HDFS时，需填写集群存储根目录。可以通过查看E-MapReduce 5.x Hadoop集群信息获取进行。如下图所示：执行引擎 根据实际业务情况，选择计算执行引擎。包括...
在文件存储 HDFS 版上使用Apache HBase
步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储 HDFS 版文件系统。步骤二：配置Apache HBase 将Hadoop中配置的core-site.xml复制到${HBASE_HOME}/conf目录下。cp...
- 产品推荐
- 这些文档可能帮助您