方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
Windows播放器SDK
2020-11-18 日期 版本 修改内容 2020-11-18 V5.2.2 修复：在Win7系统，播放器进程退出时，主线程中止，进程没有结束。修复：在Win7系统，切换播放器窗口或改变播放器窗口大小时，偶现黑屏的问题。2020-10-10 日期 版本 修改内容 2020-10-10...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
UpdateBatch-更新批处理任务
更新批处理任务信息，如输入的数据源配置、数据处理的配置、批处理任务标签等信息。接口说明 更新批处理任务时，当批处理任务状态处于 Ready（就绪）或 Failed（失败）时可以更新，更新时不会改变当前的任务状态。更新完成后，之前未完成的...
DeleteBatch-删除批处理任务
删除指定的一个批处理任务。接口说明 删除批处理任务时，当任务状态处于 Ready（就绪），Failed（失败），Suspended（暂停），Succeeded（完成）时可以删除，其他运行中的状态禁止删除。删除批处理任务时，可以先通过 GetBatch 查询批处理...
ResumeBatch-恢复批处理任务
将一个Suspend（暂停）或Failed（失败）的批处理任务恢复。接口说明 只有 Suspended（暂停），Failed（失败）状态的批处理任务可以恢复，恢复后继续执行未完成的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
SuspendBatch-暂停批处理任务
将一个 Running（正在执行）的批处理任务暂停。接口说明 任务状态 Running（正在执行）时，可以暂停任务。如果想继续执行，需要调用 ResumeBatch 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
测试指标
标准 在数据量很大的情况下，批处理时间窗口时间越短越好。不能影响实时交易系统性能。可扩展性指标 定义及解释 指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/...
财务资产管理
按用户组查看共享 用户在“查看维度”单选框中，选择“按资源共享用户组”，可以查看一个资源设置共享给哪些用户组，同时一个用户组被哪些资源设置共享。资源按用户组共享规则如下：一个资源可以设置共享给多个用户组，一个用户组可以被多...
GetBatch-获取批处理任务信息
获取批处理任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
权限
批处理和触发器权限 使用批处理和触发器，您需要授权给IMM服务访问其他云资源（例如OSS）的权限。没有服务角色时，您可以在 云资源访问授权 页面创建默认角色。关于如何为批处理添加服务角色，请参见 批处理。关于如何为触发器添加服务角色...
Kyuubi概述
批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。...
ListBatches-查询批处理任务列表
查询批处理任务列表，支持排序，支持按照任务标签，任务状态等条件查询。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
Ride测试环境搭建
Ride_install内容如下：3、一键安装 win7直接双击setup_for_win7.bat进行所需软件安装；win10管理员身份运行 setup_for_win10.bat文件，注意，一定以管理员的身份运行。右键——以管理员身份运行 安装过程中到robotframework时，选择默认的...
Windows系统的ECS实例中安全审计日志简要说明
状态:0xc000006d 子状态:0xc0000064 进程信息:调用方进程 ID:0x0 调用方进程名：网络信息:工作站名：Piblic-WIN7 源网络地址:源端口:详细身份验证信息:登录进程:NtLmSsp 身份验证数据包:NTLM 传递服务:数据包名(仅限 NTLM):密钥长度:0 登录...
消费者负载均衡
而对于流式处理、聚合计算场景，需要明确地对消息进行聚合、批处理时，更适合使用队列粒度的负载均衡策略。使用示例 消息粒度负载均衡策略不需要额外设置，对于PushConsumer和SimpleConsumer消费者类型默认启用。SimpleConsumer ...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
Spark SQL执行方式
AnalyticDB for MySQL 湖仓版（3.0）支持使用批处理和交互式两种方法执行Spark SQL，两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通，可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
监控与报警
云监控（CloudMonitor）可以从 共享带宽 中实时收集监控指标，并在 共享带宽 控制台生成可视化的时序曲线图。您可以根据各监控指标来排查问题。查看 共享带宽 实例监控 通过 共享带宽 控制台查看 登录 共享带宽管理控制台。在顶部菜单栏处...
概述
应用场景 金融行业批处理 这种场景需要在规定时间内处理完指定的数据。传统的处理方式是根据数据库分片来处理，每台机器处理一个数据分片，这种方式的缺点就是当业务集群的机器数量大于分片数时，很多机器处于闲置状态，资源利用率低。集群...
正式商用公告
购买须知 在购买 云消息队列 Kafka 版 实例前，您需要了解以下信息：云消息队列 Kafka 版 公测的共享实例的处理 您无需释放公测期间申请的共享实例。如果您没有购买商用实例，云消息队列 Kafka 版 不会收取您任何费用。云消息队列 Kafka 版...
Logstash性能排查
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input...提高管道批处理和管道工作线程数。相关文档 Logstash官方性能调试文档
已停售的实例规格
采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），基频2.7 GHz，全核睿频3.5 GHz，计算性能稳定 支持开启或关闭超线程配置 存储：I/O优化实例 仅支持ESSD云盘 实例存储I/O性能与计算规格对应（规格越高存储I/O性能越强）网络：...
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
网络FAQ
本文汇总了使用云服务器ECS网络时的常见问题。网络性能问题 不同地域内的ECS实例通过公网通信，通信丢包概率如何？如果相同地域下的ECS实例通过内网通信，网络延迟性能如何？没有明确标注连接数规格的实例，如何保障连接数性能？在ECS实例...
功能发布记录（2.0）
V2.2@2021-06-02 完善数据统计回调，新增统计下行丢包率、发送端到接收端的网络延时和接收端到网络抖动缓存的网络延时等数据。支持自定义设置小流视频参数。V2.1@2021-04-30 新增是否接收远端音视频流功能。新增加入多频道功能，可实现超级...
API概览
网络域（仅支持V3.2.40及以上版本使用）API 标题 API概述 CreateNetworkDomain 创建网络域 创建网络域。GetNetworkDomain 获取指定网络域详情 获取指定网络域详情。ListNetworkDomains 获取指定堡垒机下网络域列表 获取指定堡垒机下的网络...
产品优势
批流一体 在实际的业务场景中，往往既有批处理的需求，也有流式计算的需求。您不仅需要清楚地划分批流两种作业，还需要分别进行开发。Databricks Delta Lake可以使用一套API接口同时处理批作业和流作业，达到事半功倍的效果。协同分析 数据...
如何手动更新Windows实例的virtio驱动？
win7 目录中保存的驱动适用于：Windows Server 2008 R2、Windows 7。根据Windows实例当前的操作系统版本，选择打开对应的文件夹。例如，本示例中Windows实例的操作系统版本为Windows Server 2012 R2 64位，则打开的文件夹路径为 C:\test\...
安装virtio驱动
win7 目录中保存的驱动适用于：Windows Server 2008 R2、Windows 7。在Windows PowerShell中，运行以下命令，选择打开对应的文件夹。例如，本示例中服务器的操作系统版本为Windows Server 2019 64位，则打开的文件夹路径为 C:\test\220915....
指定ECS规格创建Pod
规格类型 企业级x86规格族 通用型 g7a、g7、g6e、g6a、g6、g5、sn2ne 计算型 c7a、c7、c6e、c6a、c6、c5、sn1ne 内存型 r7a、r7、r6e、r6a、r6、r5、se1ne、se1 通用算力型 u1 密集计算型 ic5 高主频通用型 hfg7、hfg6、hfg5 高主频计算型 ...
GPU虚拟化型
GPU虚拟化型实例规格族sgn7i-vws（共享CPU）GPU虚拟化型实例规格族vgn7i-vws GPU虚拟化型实例规格族vgn6i-vws GPU虚拟化型实例规格族sgn7i-vws（共享CPU）sgn7i-vws的特点如下：依托第三代神龙架构，提供稳定可预期的超高性能。同时通过...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
指定ECS规格创建实例
规格类型 企业级x86规格族 通用型 g7a、g7、g6e、g6a、g6、g5、sn2ne 计算型 c7a、c7、c6e、c6a、c6、c5、sn1ne 内存型 r7a、r7、r6e、r6a、r6、r5、se1ne、se1 通用算力型 u1 密集计算型 ic5 高主频通用型 hfg7、hfg6、hfg5 高主频计算型 ...
在ASM网关配置TLS协议版本增强安全性
AES_128_GCM_SHA256 253 bit ECDH(X25519)Firefox 100(Win 10)TLSv1.3 TLS_AES_128_GCM_SHA256 253 bit ECDH(X25519)IE 6 XP No connection IE 8 Win 7 No connection IE 8 XP No connection IE 11 Win 7 No connection IE 11 Win 8.1 No ...
在ASM网关配置TLS协议版本增强安全性
AES_128_GCM_SHA256 253 bit ECDH(X25519)Firefox 100(Win 10)TLSv1.3 TLS_AES_128_GCM_SHA256 253 bit ECDH(X25519)IE 6 XP No connection IE 8 Win 7 No connection IE 8 XP No connection IE 11 Win 7 No connection IE 11 Win 8.1 No ...
- 产品推荐
- 这些文档可能帮助您