API概览

UpdateBatch 更新批处理任务 更新批处理任务信息,如输入的数据源配置、数据处理的配置批处理任务标签等信息。ListBatches 查询批处理任务列表 查询批处理任务列表,支持排序,支持按照任务标签,任务状态等条件查询。GetBatch 获取批...

批处理

在 创建批处理 面板进行 输入配置、输出配置、权限配置、通知配置。参数 说明 输入存储桶 当前需要创建批处理的文件所在的Bucket。选择模式 可根据需要选中 选择文件 或 选择前缀。选择文件:选择特定的多个文件进行数据处理。选择前缀:对...

权限

批处理和触发器权限 使用批处理和触发器,您需要授权给IMM服务访问其他云资源(例如OSS)的权限。没有服务角色时,您可以在 云资源访问授权 页面创建默认角色。关于如何为批处理添加服务角色,请参见 批处理。关于如何为触发器添加服务角色...

新建FLINK_SQL任务

开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置(必选):配置任务生产环境和开发环境对应的集群、引擎版本以及Job Manager CPUs和Job Manager Memory信息。配置说明,请参见 配置Ververica ...

新建BLINK_SQL任务

开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置(必选):配置任务对应的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Memory和Task Manager Memory信息。配置说明,请...

数据处理配置

每个数据源默认免费提供2个资源,如您的数据量更新较大,并且对数据的时效性有要求的场景,可以通过数据处理配置,扩容process_partition_count来支持更大的数据更新。扩容数据处理资源 在高级配置中,用户点击数据处理配置后,选择需要...

数据处理配置

每个数据源默认免费提供2个资源,如您的数据量更新较大,并且对数据的时效性有要求的场景,可以通过数据处理配置,扩容process_partition_count来支持更大的数据更新。扩容数据处理资源 在高级配置中,用户点击数据处理配置后,选择需要...

UpdateBatch-更新批处理任务

更新批处理任务信息,如输入的数据源配置、数据处理的配置批处理任务标签等信息。接口说明 更新批处理任务时,当批处理任务状态处于 Ready(就绪)或 Failed(失败)时可以更新,更新时不会改变当前的任务状态。更新完成后,之前未完成的...

丢弃字段

配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段,配置示例如下:原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_drop,detail 说明如下...

添加字段

配置示例 添加 aaa2 字段和 aaa3 字段,配置示例如下:原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_add_fields,detail 说明如下表...

重命名字段

配置示例 将 aaa1 字段重命名为 bbb1,将 aaa2 字段重命名 bbb2,配置示例如下:原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"bbb1":"value1""bbb2":"value2""aaa3":"value3"JSON配置方式 参数配置...

功能概述

您可以在 ACM 中对配置进行“增删改查”、批量管理的操作,还可以在 ACM 中查看变更 Diff及推送轨迹,灰度发布配置,进行版本回滚。迁移到MSE Nacos ACM进入下线状态,所有配置管理相关的需求由MSE中的Nacos承接(ACM独享版,更好的安全和...

字符串替换

表单配置方式 原始日志:"content":"10.10.239.16"Logtail插件处理配置:处理结果:"content":"10.10.239.16","new_ip":"10.10.239.*/24",JSON配置方式 原始日志:"content":"10.10.239.16"Logtail插件处理配置:{"processors":[{"type":...

打包字段

配置示例 将指定的 a 字段和 b 字段打包成JSON字段 d_key,配置示例如下:原始日志"a":"1""b":"2"Logtail插件处理配置 处理结果"a":"1""b":"2""d_key":"{\"a\":\"1\",\"b\":\"2\"}"JSON配置方式 参数说明 配置 type 为 processor_packjson...

数据脱敏

原始日志"password":"123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":"const","Match":"full","ReplaceString":"*"} } 处理结果"password":"*"示例2 使用正则表达式指定目标...

工作流管理

单击 媒体处理配置>工作流管理,进入工作流管理页面。单击 添加工作流。工作流拓扑结构。输入 工作流名称。新增工作流 单击+,添加工作流。删除工作流 单击删除键,删除工作流。删除父节点,子节点也会一起删除,如下图所示。删除前工作流...

回调设置

在左侧导航栏选择 配置管理>媒体处理配置>回调设置,进入回调设置页面。单击 修改设置,回调方式 选择 HTTP请求。设置回调URL及回调事件后,单击 确定。各参数配置说明如下:参数名称 参数说明 回调URL 按需求设置接收消息回调的URL,当...

过滤日志

192.168.*.*""method":"POST""browser":"ali-sls-ilogtail"Logtail插件处理配置 {"type":"processor_filter_regex","detail":{"Include":{"ip":"10\\.*","method":"POST"},"Exclude":{"browser":"aliyun.*"} } } 处理结果 日志 是否采集 ...

工作流

配置方式 目前,您可以登录 视频点播控制台,在点播控制台左侧的导航栏选择 配置管理,在 媒体处理配置>工作流管理 页面配置工作流。使用方式 您可以在获取上传凭证时指定工作流。重要 工作流方式和原模板组上传方式只能使用一种,并且使用...

转换IP地址

配置示例 将日志中的IP地址转换成对应的地理位置,示例如下:原始日志"source_ip":"*.*.*.*"Logtail插件处理配置 处理结果"source_ip":"*.*.*.*""source_ip_province_":"浙江省""source_ip_city_":"杭州""source_ip_province_code_":"ZJ"...

采集主机文本日志

处理配置 配置项 说明 日志样例 待采集日志的样例,请务必使用实际场景的日志。日志样例可协助您配置日志处理相关参数,降低配置难度。支持添加多条样例,总长度不超过1500个字符。[2023-10-01T10:30:01,000][INFO]java.lang.Exception:...

视频点播快速入门

在控制台左侧导航栏的 配置管理 区域,选择 媒体处理配置>转码模板组。说明 该服务区域在开通存储管理后,系统会自动为您添加 不转码 和 TranscodeTemplateGroup 转码模板组。单击 添加转码模板组,进入 添加转码模板组 页面。输入 模板组...

概述

处理方法 新增并配置处理方法,实现各节点的逻辑交互功能。支持的操作如下:新建:单击+,新增一个处理方法。重命名:单击 重命名()图标,修改处理方法名称。创建代码片段:处理方法保存后,单击 创建代码片段()图标,保存当前 处理...

批量绑定设备

在 新建配置 页底部,设置配置名称,单击 发布配置。执行结果 设备配置发布后,将生成一个应用实例。系统生成的应用地址,由于安全限制原因,有效期为24小时。已绑定您自己的域名的应用地址不受此限制,长期有效。绑定域名操作详情,请参见...

身份与权限管理概述

请参见下文先创建,再授权 消息服务MNS 若使用消息服务MNS订阅任务信息则必须授予MNS权限 否,可选 MNS全部读写权限:AliyunMNSFullAccess 播放加速CDN 若使用媒体处理配置播放加速则必须授予CDN权限 否,可选 CDN全部读写权限:...

概述

处理配置 区域,添加Logtail插件,然后单击 保存。在创建Logtail配置时添加插件 在创建Logtail配置时,您也可以添加Logtail插件,即您在 接入数据 区域的 自建开源/商业软件 页签下,选择目标数据源,完成选择日志空间、创建机器组、...

CreateBatch-创建批处理任务

创建一个批处理任务,指定存储内已存在的若干文件,对其批量执行指定操作,如转码、格式转换等。接口说明 创建批处理任务,如果需要通过 对象存储数据处理方式 进行数据处理,请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...

数据编码与解码

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件配置。具体操作,请参见 概述。BASE64编码 您可以通过processor_base64_encoding插件对字段值进行编码。表单配置方式 配置 处理器类型 为 BASE64...

字段值映射处理

配置说明 表单配置方式 配置 处理器类型 为 字段值映射处理,相关参数说明如下表所示。参数 说明 原始字段 原始字段名。结果字段 映射后的结果字段名。映射字典 映射字典。设置键和值,将键映射到值上。映射字典较小时,可直接通过此参数...

数据过滤器

数据表配置 系统自动解析接口返回或数据过滤脚本处理之后的结构化数据后,展示可供筛选的数据列表。注意事项 数据过滤器支持返回的数据格式:单值(Number、String、Boolean)、一维数据(一维JSON、一维表)、二维数据(一维JSON Array、...

Triton Inference Server镜像部署

如果使用批处理功能,此时在模型配置文件 config.pbtxt 中设置 max_batch_size 参数的方式无效,您需要自行在execute函数中实现请求批处理的逻辑。request与response必须一一对应,每一个request都要返回一个对应的response。更新配置文件 ...

配置RAM用户同步

处理模式 区域,选择 逐条处理 或 批量处理。逐条处理:为多个RD账号逐条配置冲突策略和删除策略。批量处理:为多个RD账号统一配置冲突策略和删除。配置 冲突策略 和 删除策略。冲突策略:当目标RD账号内存在同名RAM用户时的处理策略。...

离线同步常见问题

MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错:[TASK_MAX_SLOT_EXCEED]:Unable to find a ...

Kafka触发器

当有消息入队时,事件总线EventBridge 会根据您的攒批配置将一个或多个消息事件以的形式推送到函数中进行处理。注意事项 作为触发源的 云消息队列 Kafka 版 实例必须和 函数计算 的函数在相同的地域。创建的事件流数量超过上限后,将无法...

配置实时监控报警规则

为了及时发现并处理任务运行过程中的异常,Dataphin支持批量为任务配置报警规则,便于您及时发现并处理异常,同时提高了为任务配置监控报警规则的效率。本文为您介绍如何为实时任务配置监控告警规则。背景信息 Dataphin支持批量配置监控...

AssignReviewer-分配质检员

接口说明 手动分配质检完成的文件给质检员处理,支持单个文件分配和批量分配:单个文件分配:将某个文件分给指定质检员。批量分配:将筛选出来的多个文件批量分配给某些质检员,可以指定每个质检员分配的文件个数,也可以指定多个质检员...

FE参数配置

命令结果中的IsMutable列查是否支持动态配置。如果是修改MasterOnly的配置项,则该命令会直接转发给Master FE并且仅修改Master FE中对应的配置项。通过该方式修改的配置项将在FE进程重启后失效。更多该命令的帮助,可以通过 HELP ADMIN ...

轨迹线层(v3.x版本)

图表样式 轨迹线层是基础平面地图 3.0的子组件,支持独立的样式和数据配置,能够以一轨迹点连线的形式表示人或物体移动的轨迹。样式面板 搜索配置:单击 样式 面板右上角的搜索配置项图标,可在搜索配置面板中输入您需要搜索的配置项名称...

轨迹线层(v4.x版本)

图表样式 轨迹线层是基础平面地图 4.0的子组件,支持独立的样式和数据配置,能够以一轨迹点连线的形式表示人或物体移动的轨迹。样式面板 搜索配置:单击 样式 面板右上角的搜索配置项图标,可在搜索配置面板中输入您需要搜索的配置项名称...

Spark SQL执行方式

AnalyticDB for MySQL 湖仓版(3.0)支持使用批处理和交互式两种方法执行Spark SQL,两种执行方式都直接与 AnalyticDB for MySQL 的元数据服务连通,可以读写 AnalyticDB for MySQL 的库表。本文介绍批处理和交互式两种执行方式的注意事项...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
应用配置管理 (文档停止维护) 云服务器 ECS 批量计算 对象存储 媒体处理 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用