可靠性和一致性说明
块网关会将整个iSCSI卷按照您指定的存储分配单元进行切分，对上传到OSS Bucket的每个存储单元切片执行CRC64校验，确保云上持久化数据与您写入的数据是一致的。icmsDocProps={'productMethod':'created','language':'zh-CN',};
单doc多向量检索
使用场景：在长文本切片后，将每个切片的文档进行向量化，可以将所有切片向量存储在一个向量字段中进行检索。使用说明：这里以一个128维的向量进行举例：向量字段为vector，向量索引是128维，如果需要单doc多向量检索，只需要在推送数据时...
什么是云存储网关CSG
云存储网关（Cloud Storage Gateway：简称CSG）是一款可以部署在用户本地数据中心和阿里云上的网关产品。它以阿里云对象存储（OSS）为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关目前...
云存储网关
云存储网关CSG（Cloud Storage Gateway）是一款可以部署在用户本地数据中心和阿里云上的网关产品。它以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。云存储网关 目前提供两种...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
数据湖加速查询
TPCH Q11查询语句 select ps_partkey,sum(ps_supplycost*ps_availqty)as value from partsupp,supplier,nation where ps_suppkey=s_suppkey and s_nationkey=n_nationkey and RTRIM(n_name)='EGYPT' group by ps_partkey having sum(ps_...
音视频转码
存储在OSS上的多媒体音视频数据，可以通过经济、弹性、高扩展的阿里云媒体转码服务，转换成适合在移动端、PC、TV上播放的格式。媒体转码核心能力包括：转换媒体格式，支持多平台播放。保证相同画质质量的前提下，调整视频码率、提高视频...
视频转码
example.avi 处理方式 转码时长：从输入媒体文件的第1000毫秒开始并持续60000毫秒进行视频转码 切片方式：按30秒间隔进行HLS切片 转码完成消息通知：发送MNS消息 转码后 视频信息 视频格式：TS 视频流格式：H.264 视频码率：1 Mbps 音频...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
归档
取值包括：标准存储 低频存储 归档存储 冷归档存储 关于存储类型介绍，更多信息，请参见 存储类型概述。搜索设置：用于指定搜索范围。取值包括 仅搜索元数据 和 全文搜索。专有归档库：使用阿里云灾备存储（容量型）、miniOSS或其他兼容...
直播录制
直播录制是指将推送的直播流实时转换成TS媒体切片后保存到OSS或VOD中的过程。它将直播内容封装成TS、M3U8、MP4或FLV等格式的视频文件，并支持H264、HEVC、MPEG4的视频编码和AAC、MP3的音频编码。用户可以通过直播控制台或API接口选择不同的...
超大消息传输
当消息内容大于64 KB以至于无法直接存入MNS队列时，不做消息切片，使用 消息服务MNS 和 对象存储OSS 来传递大于64 KB的消息。背景信息 消息服务MNS 的队列的消息大小最大限制是64 KB，这个限制基本能够满足在正常情况下消息作为控制流信息...
功能特性
智能媒体服务 功能集 功能 功能描述 参考文档 媒资管理 音视频资产管理 将音视频资产数字化、结构化存储，提供全面的管理服务。媒资上传 内容信息编目 提供标题、分类、封面、字幕、点位信息等编目能力。分类管理 检索查询 支持基于音视频...
概述
如果该权限意外被删除，您可以重新配置：通过控制台配置：您需要授权视频直播可将视频内容写入OSS产品的权限，授权后才能将视频存储至指定的OSS bucket中。详情参见 配置OSS。通过RAM进行权限配置：详情参见 创建RAM用户并授权。音视频编码...
录制存储至OSS
视频直播录制功能，是将直播中心接收到的推流数据进行录制，并将录制后的文件按配置的录制规则存储至阿里云OSS指定的存储位置。支持将直播流录制成M3U8、MP4、FLV格式的视频文件。本文为您介绍录制存储至OSS的操作指引。前提条件 您已创建...
使用语音审核增强版识别语音违规风险
支持查询30天以内的数据，结果查询页面最多可以保存5万条数据，如果您有更高的存储需求，在调用API后需要您自行保存返回结果。按照标签搜索查询信息时，标签的筛选方式如下：包含：表示返回结果标签中包含输入的标签值。不包含：表示返回...
高级配置
Ubuntu 14.04及以上和CentOS 6.5及以上系统版本通过fstab的方式自动挂载 在/etc/fstab 中加入如下命令：ossfs#bucket_name mount_point fuse_netdev,url=url,allow_other 0 0 其中，#bucket_name 表示要挂载的OSS存储空间的名称，将 bucket...
简介
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
PS-SMART多分类
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
PS-SMART回归
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
JOIN与子查询的优化和执行
partkey)="count(ps_partkey)",ps_suppkey="ps_suppkey",count(ps_partkey)2="count(ps_partkey)")HashAgg(group="ps_suppkey",count(ps_partkey)="SUM(count(ps_partkey))")Gather(concurrent=true)LogicalView(tables="partsupp_[0-7]",...
PS-SMART二分类训练
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
高性能版Spark全密态计算引擎性能测试报告
SELECT ps_partkey,sum(ps_supplycost*ps_availqty)AS value FROM partsupp,supplier,nation WHERE ps_suppkey=s_suppkey AND s_nationkey=n_nationkey AND n_name='GERMANY' GROUP BY ps_partkey HAVING sum(ps_supplycost*ps_availqty)>...
配置企业知识库
说明 企业知识导入，原文件不在平台存储，只会储存文档识别-切片-向量化之后的向量数据，用作向量检索。其中用来储存向量数据的数据库，可以使用内置的ES实例，除了默认的文件和向量存储，还可以关联OSS文件存储Bucket（OSS对象存储产品...
封装配置
低延迟HLS将切片分割成更小（200毫秒至1秒）的Part切片，并支持M3U8和Part切片的阻塞加载，从而实现更低的延迟，端到端延迟可达3～5秒。注意事项 为了CMAF和低延迟HLS播放流畅，推流需确保GOP大小稳定，且直播封装切片时长为GOP时长的整数...
SLICE
对ARRAY数组切片，截取从 start 位置开始长度为 length 的元素组成新的ARRAY数组。命令格式 array<T>slice(array<T><a>,,)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。start：必...
直播封装
相对于HLS，LL-HLS可以将切片分割成更小（0.2~1秒）的Part切片，并支持M3U8和Part切片的阻塞加载，从而实现端到端低至3～5秒的延迟；相对于TS格式，CMAF封装格式有广泛的设备和浏览器支持，且支持更新的编解码器（codec），如HEVC/H.265。...
块网关的数据传输问题
本文介绍块网关的数据传输问题。针对块网关来说，后端以切片形式上传，切片大小可选，默认为32KB。本地块网关会根据数据热度做读缓存。当访问的是冷数据，如果本地没有，则直接访问OSS，此时就会有下载动作，对应的就是下行流量。
SplitDoc-文本切片及向量化
测试标题","content":"测试文本","use_embedding":true,} 返回参数 响应名 响应类型 描述 chunks List切片后的文本数据对象 ChunkContext 响应名 响应类型 描述 chunk_id String 切片id chunk Stirng 切片后的文本数据 embedding String ...
产品计费
本文主要介绍云存储网关计费相关内容，包括计费项、计费方式和欠费说明等，您可以通过本文了解云存储网关服务费用收取详情。计费项 云存储网关包括线上网关和线下网关，其计费项不相同。云存储网关资源的价格，请参见 云存储网关产品定价。...
Fn:Split
调用内部函数Fn:Split，通过指定分隔符对字符串进行切片，并返回所有切片组成的列表。函数声明 JSON {"Fn:Split":["delimiter","original_string"]} YAML 完整函数的语法。Fn:Split:delimiter-original_string 缩写形式。Split[delimiter,...
配置直播延迟
然后计算切片最大个数，当切片大小大于等于3秒时为4个，其余情况为6个。HLS实际切片大小不会小于GOP大小。HLS延迟计算方式为配置的切片大小*3。不调用该接口配置时，默认延迟时间为：RTMP为2秒；FLV为4秒；HLS一个切片大小为5秒，即延迟...
转换文件存储类型
OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件（Object）的存储类型。注意事项 当您使用webpack或browserify等打包工具时，请通过 npm install ali-oss 的...
消息优先级为1，就一定优先吗？
如果取的第一个切片中有高优先级的消息，那么 消息服务MNS 会优先返回，但是如果取的第一个切片中没有高优先级的消息，消息服务MNS 也会先返回这个切片中的数据。所以 消息服务MNS 可以支持很高的QPS，但是不保证消息顺序。消息服务MNS ...
消息优先级为1，就一定优先吗？
如果取的第一个切片中没有高优先级的消息，消息服务MNS 也会先返回这个切片中的数据。所以 消息服务MNS 可以支持很高的QPS，但是不保证消息顺序。消息服务MNS 消费消息时尽量做到先进先出，因为消息队列的分布式特性，消息服务MNS 不能保证...
监控项
CountSecond dsl_insert_edges_ps userId、dbInstanceId Average 平均每秒Insert点语句执行次数 CountSecond dsl_insert_vertices_ps userId、dbInstanceId Average 平均每秒Read语句执行次数 CountSecond dsl_readonly_ps userId、...
子查询优化和执行
sql="SELECT*FROM `part` AS `part`")Project(count(ps_partkey)="count(ps_partkey)",ps_suppkey="ps_suppkey",count(ps_partkey)2="count(ps_partkey)")HashAgg(group="ps_suppkey",count(ps_partkey)="SUM(count(ps_partkey))")Gather...
调用方式
云储存网关接口调用是通过向云存储网关API的服务端地址发送HTTP(s)GET请求。您需要并按照接口说明在请求中加入相应请求参数，调用后系统会返回处理结果。请求及返回结果都使用UTF-8字符集进行编码。服务地址 SGW API的服务接入地址请参见下...
消息服务消息批量操作注意事项
消息服务MNS 是分多个”切片“存放数据的，批量的操作每次只会到一个“切片”上获取数据，接收到数据后立刻返回，不会等到获取到所有“切片”的数据后才返回。所以数据发送时在“切片”的分配情况就决定了每次批量获取时返回的消息有哪些。...
可以接入OSS或者静态HTTP服务承载的S3M切片吗
可以，如果为OSS需要把当前S3M切片目录设置为公开并支持跨域，复制目录下*.scp 的URL地址到服务地址下。如果为HTTP服务，复制目录下*.scp 的URL地址在服务地址下，需要确保HTTP服务可访问并支持跨域。
- 产品推荐
- 这些文档可能帮助您