Spark Streaming消费
而通过WebTracking方式写入日志时，每次写入请求仅包含一条日志，即一个LogGroup只有一条日志。为了能够应对不同写入场景的消费需求，SDK提供如下两个参数进行限流配置。参数 说明 默认值 spark.loghub.batchGet.step 限制单次消费请求获取...
Kafka消费概述
Cursor：日志服务 中日志的相对偏移量，通过Cursor可以获得一组相对位置的日志。权限配置 当您使用RAM用户进行操作时，需先赋予RAM用户只读访问日志服务（Log）的权限，即AliyunLogReadOnlyAccess权限。具体操作，请参见 为RAM用户授权。...
管理日志存储空间
您可以参考以下信息，根据网站业务的日常QPS评估需要的日志存储容量：每条请求日志大约占用2 KB存储空间，如果网站的平均请求量为500 QPS，则存储一天的日志需要的存储空间为500*60*60*24*2=86,400,000 KB（约82 GB）；存储180天的日志需要...
创建MaxCompute投递任务（新版）
例如查询2022年1月26日一天内日志数据，查询语句如下所示。select*from {ODPS_TABLE_NAME} where log_partition_time>="2022_01_26"and log_partition_time;extract_others_字段和_extract_others_all_字段_extract_others_字段中包含日志...
配置用户标识
背景信息 如果您的服务器与日志服务属于不同账号的ECS实例、其他云厂商的服务器和自建IDC时，需要通过Logtail采集该服务器日志。首先，在服务器上安装Logtail，然后配置日志服务Project所属的阿里云账号ID为用户标识，授权该云账号通过...
使用前须知
未开启资产指纹自动采集功能时，每台服务器一天非固定时间收集一次。网络快照日志 aegis-snapshot-port 记录网络连接的日志，包括连接五元组、连接状态及关联的进程信息等字段。通过记录和分析网络连接快照日志，您可以了解系统中活动的...
日志类别及字段说明
未开启资产指纹自动采集功能时，每台服务器一天非固定时间收集一次。网络快照日志 aegis-snapshot-port 记录网络连接的日志，包括连接五元组、连接状态及关联的进程信息等字段。通过记录和分析网络连接快照日志，您可以了解系统中活动的...
采集-IoT/嵌入式日志
除此之外，日志服务提供多样化的采集方案：移动端SDK：Android/iOS平台数据采集，一天已有千万级DAU。Web Tracking（JS）：类似百度统计，Analytics轻量级采集方式，无需签名。日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志...
常见问题
支持接入云产品日志、开源系统日志、多云环境日志、本地服务器日志。提供一站式平台服务：支持采集、分析、加工、可视化、投递、告警等一站式的数据生命周期管理功能。具备智能、高效的数据分析能力：秒级分析百亿级数据能力、智能运维...
分析Nginx访问日志
nginx_Nginx访问日志仪表盘中的重要图表说明如下所示：来源IP分布 图展示最近一天访问IP地址的来源情况，所关联的查询分析语句如下所示：*|select count(1)as c,ip_to_province(remote_addr)as address group by address limit 100 请求...
消费-通过消费组实现高可靠消费
为方便理解，本文使用《银行的一天》作为例子将概念解释清楚。在文档末尾，介绍日志服务Logstore消费组功能，如何与Spark Streaming、Storm Spout等配合，完成日志数据的处理过程。什么样的数据可以抽象成日志？半世纪前说起日志，想到的是...
内网DNS解析日志转存SLS
id DNS信息ID，表示本次DNS查询的唯一识别码 30914 dst_addr 目的IP地址 100.100.2.136 dst_port 目的端口 53 ecs_hostname ECS 主机名 iZbp1b1mx9fhe34k*ecs_id ECS 实例ID i-bp1b1mx9fhe34kh*module_type 模块日志类型，请求日志只有全局...
按使用功能计费模式计费项
您可以在 日志服务控制台 查看前一天的写入流量、读取流量、读写次数、加工流量、投递流量、存储量等信息。日志服务每天更新一次该数据，不是实时更新。日志服务在采集日志时，会自动压缩日志数据量，压缩率为10%~20%。日志服务按使用功能...
使用前须知
日志服务联合阿里云负载均衡推出 CloudLens for CLB，提供CLB访问日志分析、配置审计日志分析、云监控事件分析、秒级监控指标分析、实时告警等功能，并提供基于AIOps的自动异常巡检功能。您可以通过 CloudLens for CLB 了解客户端用户行为...
GetContextLogs
接口说明 上下文查询的时间范围为起始日志的前后一天。Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。...
GetContextLogs-查询上下文日志
接口说明 上下文查询的时间范围为起始日志的前后一天。Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。已创建并获取 AccessKey。更多信息，请参见 访问密钥。阿里云账号 AccessKey 拥有所有 API 的访问权限...
Logtail最佳实践
分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 主机场景下如何使用Logtail采集超大规模文件 ...
iOS SDK快速入门
开启断点续传后，每次通过addLog方法上传成功的日志都会先保存在本地binlog文件中，只有日志发送成功后才会删除本地数据，确保日志上传实现At Least Once。您可以在SDK初始化时加入以下代码，实现断点续传。重要 初始化多个...
Android SDK快速入门
本文介绍如何快速使用日志服务Android SDK采集日志。前提条件 已安装Android SDK。具体操作，请参见 安装Android SDK。快速使用 您可以按照以下方式初始化SDK，并通过调用 addLog 方法上报日志。重要 SDK支持初始化多个实例，...
数据采集常见问题
如何使用Logtail自动诊断工具 Logtail机器组问题排查思路（主机场景）ECS经典网络切换为VPC后，如何更新Logtail配置 Logtail服务的app_info.json文件中IP地址为空导致机器组心跳检测失败 如何采集企业内网服务器日志 如何排查容器日志采集...
Logtail常见问题
如何采集企业内网服务器日志 如何使用Logtail自动诊断工具 Windows场景 Windows实例安装Logtail服务日志提示异常信息 容器场景 如何采集K8s集群的容器日志 日志格式解析问题 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则...
查询分析程序日志
分布的服务器多：大部分应用为无状态模式，运行在不同框架中，例如云服务器、容器服务等，对应的实例数从几个到数千个，需要有一种跨服务器的日志采集方案。运行环境复杂：程序运行在不同的环境中，产生的日志也保存在不同的环境中，例如...
集成WAF日志到Syslog系统
背景信息 该方案的整体集成架构如下图所示：阿里云日志服务为日志数据提供一站式服务，被广泛应用于阿里巴巴集团的许多大数据场景中。日志服务在无需开发介入的前提下，帮助您快速完成数据采集、消费、投递、查询和分析，提高运维运营效率...
查看全局数据
日志量整体趋势、产品日志量趋势 过去30天的日志量趋势 当天的统计有一小时延迟 OSS全局数据 仪表盘 描述 总日志量、小时日志量、天日志量 OSS日志全局统计 访问日志总日志量、小时日志量、天日志量 访问日志统计 计量日志总日志量、小时...
告警监控规则常见问题
例如，您将多个服务器的指标数据存储在一个时序库中，但希望每个服务器的CPU使用率（cpu_util）超过95%时，日志服务可以分开发送每个服务器的告警信息，则可以使用分组评估。为什么设置了多个触发条件，只有一个生效？查询统计结果按照触发...
创建IP地址机器组
如果需要采集服务器日志，必须创建机器组并添加相应服务器。日志服务 支持使用服务器IP地址定义机器组，本文介绍创建IP地址机器组的操作步骤。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。已...
后端服务器概述
按照负载均衡的配置，对比多台后端服务器日志的数量是否有相差。（开启会话保持后，需要剥离相同IP的访问日志。如果负载均衡配置了权重，要根据权重比例计算日志中访问比例是否正常。后端服务器为ECS并且进行热迁移时，可能导致 CLB 长连接...
日志组（LogGroup）
日志组（LogGroup）是一组日志的集合，是写入与读取日志的基本单元。一个日志组中的数据包含相同Meta（IP地址、Source等信息）。写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该...
Data Explorer案例
Data Explorer配置 查询语句 SLS and request_time(status>=200 and status)分析示例 示例1 在网站访问日志中，统计过去一天内网站请求的每小时平均耗时以及随时间的变化情况。Data Explorer配置 查询和分析语句|select date_trunc('hour',...
上下文查询
开发人员无需登录服务器，在大量日志中通过关键字检索日志，日志服务支持通过控制台查看指定日志在原始文件中的上下文信息。前提条件 已通过Logtail采集到日志。具体操作，请参见 通过Logtail采集日志。重要 如果您使用了Logtail插件处理...
开通投递服务
本文介绍如何在配置审计控制台中开通投递服务，将配置变更历史数据、不合规事件和定时快照数据投递到日志服务中。前提条件 已开通配置审计。具体操作，请参见 普通账号快速入门。操作步骤 登录 配置审计控制台。在左侧导航栏，单击 投递。...
事件操作函数
原始日志_programe_:access age:18 content:123 name:maki_programe_:error age:18 content:123 name:maki 加工规则 e_if(e_search("_programe_=access"),DROP)加工结果 丢弃_programe_字段值为 access 的日志，保留_programe_字段的值为 ...
使用前须知
阿里云API网关联合日志服务推出日志管理功能，提供API访问日志的实时采集、查询、分析、加工、消费等一站式服务。本文介绍API网关日志管理功能相关的资产详情、费用说明以及使用限制。阿里云API网关提供API托管服务，在微服务聚合、前后端...
计费案例
31个*天 免费 读写流量 上传日志时的网络流量：10 MB/天×20%×31天=62 MB 通过Java订阅日志时的网络流量：10 MB/天×20%×31天=62 MB 124 MB 免费 存储空间-日志存储 日志存储量：10 MB/天×20%×31天=62 MB 被构建索引的日志存储量：10 ...
接入NVIDIA GPU监控数据
步骤一：安装NVIDIA GPU驱动 日志服务使用 nvidia-smi 命令采集GPU信息，该命令包含在GPU驱动程序中，因此需要先安装驱动程序。具体操作，请参见 在GPU计算型实例中安装GPU驱动（Linux）。如果您使用阿里云ECS的GPU实例，则GPU实例中已默认...
使用前须知
日志服务提供实时查询、可视化分析、告警、投递、加工等一站式服务。本文介绍DCDN实时日志相关的功能介绍、资产详情、费用说明及使用限制。功能介绍 您的业务在使用DCDN服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时...
加工规则错误
解决方案：只有日志事件的字段 b 为 0 时才会报错。因此可以增添 e_if 逻辑来捕获 b 的字段值为 0 的异常情况。e_if_else(op_eq(v("b"),"0"),e_set("c",v("a")),e_set("c",op_div_floor(v("a"),v("b")))加工规则样例2：#部分日志事件的字段...
分析Apache日志
',1)order by pv desc limit 10 请求时间前十地址 图展示最近一天请求响应延时最长的前十个地址，所关联的查询分析语句如下所示：*|select request_uri as top_latency_request_uri,request_time_sec order by request_time_sec desc limit...
使用前须知
阿里云日志服务和物联网平台联合推出日志功能，将云端运行日志推送到日志服务中。日志服务提供实时查询、可视化分析、告警、投递、加工等功能。本文介绍IoT云端运行日志相关的资产详情、费用说明、使用限制等信息。资源说明 专属Project和...
监控与日志
监控与日志可有效保障您轻量应用服务器资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和业务运行...
- 产品推荐
- 这些文档可能帮助您