查询分析程序日志

本文通过查询、关联分析、统计分析等场景介绍如何使用日志服务对程序日志进行查询和分析。背景信息 程序日志内容全、存在一定共性,它是运维程序的重要信息,但程序日志具有如下不便于存储与分析的特性:格式随意:不同开发者的代码风格...

定期清理程序日志

这些应用都需要对应的方案自动清理程序日志。本文以CentOS和Debian操作系统为例,介绍如何通过 SAE 控制台配置程序的日志清理。实施方案 通过 SAE控制台 的 自定义运行环境设置,安装并配置Crontab,达到定期清理的目的。您可以在创建或者...

程序 SDK更新日志

1.9.21(2022-05-24)fix:修复小程序 navigator 组件触发自动点击时页面编码识别为下一个页面的问题 1.9.20(2022-05-14)修复小程序埋点验证时因来电、相册等系统功能使用而导致的日志中断问题 1.9.16(2022-04-26)fix:只有全埋点事件才上报...

我如何批量下载程序运行过程中产生的日志

如果您的日志保存在日志服务的Logstore中,您可以通过日志服务的API查询和下载相关内容。

我如何批量下载程序运行过程中产生的日志

如果您的日志保存在日志服务的Logstore中,您可以通过日志服务的API查询和下载相关内容。

日志服务中记录的时间和程序中获取的时间不一致怎么办...

日志服务 记录的时间和 函数计算 的时间不一致,可能是因为两者使用的时间格式和时区不一致。函数计算 默认以UTC时间运行,也就是0时区,即北京时间减去8个小时。例如北京时间每天12:00,转化为UTC时间就是每天04:00。您可以通过设置环境...

日志服务中记录的时间和程序中获取的时间不一致怎么办...

日志服务记录的时间和函数计算的时间不一致,可能是因为两者使用的时间格式和时区不一致。函数计算 默认以UTC时间运行,也就是0时区,即北京时间减去8个小时。例如北京时间每天12:00,转化为UTC时间就是每天04:00。您可以通过设置环境变量...

程序JavaScript SDK

日志服务支持通过Web Tracking自动采集终端用户小程序日志。本文介绍如何使用Web Tracking JavaScript SDK自动采集小程序的用户日志。背景信息 您可以通过Web Tracking采集各种浏览器、小程序、iOS App或Android App的用户信息,例如:...

使用Windows实例的日志

本文以Windows Server 2012 R2为例,介绍了系统日志、应用程序日志、安全日志以及应用程序和服务日志的使用。前提条件 使用本教程进行操作前,请确保您已经注册了阿里云账号。如还未注册,请先完成 账号注册。背景信息 Windows系统日志主要...

日志库(Logstore)

例如您要采集App A所涉及的操作日志(operation_log)、应用程序日志(application_log)以及访问日志(access_log),您可以创建一个名为app-a的Project,并在该Project下创建名为operation_log、application_log和access_log的Logstore,...

上下文查询

应用场景 例如,O2O外卖网站在服务器上的程序日志里会记录一次订单成交的轨迹:用户登录>浏览商品>选择物品>加入购物车>下单>订单支付>支付扣款>生成订单。如果客户下单失败,运维人员需要快速定位问题原因。传统的上下文查询中,需要管理...

如何通过完整正则模式采集多种格式日志

以 Java 日志为例,作为一个程序日志,它一般既包含正常信息,也会包含异常栈等错误信息。WARNING类型的多行日志 INFO类型的简单文本日志 DEBUG类型的键值日志[2018-10-01T10:30:31,000][WARNING]java.lang.Exception:another exception ...

最佳实践

分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...

数据采集概述

数据来源 日志服务支持的数据来源如下:类别 来源 接入方式 更多 应用 程序输出 Logtail 查询分析程序日志 访问日志 Logtail 分析Nginx访问日志 链路跟踪 Trace服务 Logtail 无 时序数据 Logtail Telegraf 无 语言 Java Log Service Java ...

日志字段详情

目前友盟实时日志订阅功能支持U-App(App日志)、U-MiniProgram(小程序日志)和U-Web(网站日志)三类数据,本文介绍这三类日志的字段详情。U-App日志 U-App日志记录用户启动App、使用App功能和App发生异常的相关数据。字段 说明 app_key ...

数据模型

例如:您有一个名为big-game的游戏应用,服务器上有三种日志:操作日志(operation_log)、应用程序日志(application_log)以及访问日志(access_log),您可以首先创建名为big-game的项目,然后在该项目下面为这三种日志创建三个日志库,...

智能异常分析概述

产品架构 智能异常分析应用围绕运维场景中的监控指标、程序日志、服务关系等核心要素展开,通过机器学习等手段产生异常事件,通过服务拓扑关联分析时序数据和事件,最终降低企业的运维复杂度,提高服务质量。产品架构图如下所示。各功能...

如何解决查询分析与流处理两种场景下的数据口径差异

如果这个时间戳和应用程序日志时间的定义不一样(例如,事务日志是在事件发生之后基于数据库记录创建的,但业务需要定义数据中的create_time字段为日志时间),Logtail支持设置时区偏移,或者通过插件配置将日志行中的时间字段(业务时间)...

使用完整正则模式采集日志

如果待采集的日志是多行日志(例如Java程序日志),请关闭 单行模式 开关,使用多行正则模式采集。日志样例 请务必使用实际场景的日志,便于日志服务自动提取其中的正则表达式。日志样例请参见 单行日志采集案例、多行日志采集案例。行首正...

通过Syslog投递日志到SIEM

def main():option,settings=get_monitor_option()logger.info("*start to consume data.")worker=ConsumerWorker(SyncData,option,args=(settings,))worker.start(join=True)if_name_='_main_':main()程序配置示例 配置内容:程序日志文件...

通过HTTPS投递日志到SIEM

def main():option,settings=get_monitor_option()logger.info("*start to consume data.")worker=ConsumerWorker(SyncData,option,args=(settings,))worker.start(join=True)if_name_='_main_':main()程序配置示例 配置内容 程序日志文件...

消费-计量计费日志

控制产生的计费数据量 对于产生计量日志程序进行改造(例如Nginx),先在内存中做聚合,每隔1分钟转储一次该时间段聚合的汇总计量日志结果。这样数据量就和总体的用户数相关了。假设Nginx该时间段内有1000个用户,一个小时数据量为1000*200...

通过DaemonSet-CRD方式采集容器日志

在容器中以DaemonSet模式安装Logtail后,您可通过CRD方式创建Logtail配置采集容器日志。前提条件 已安装Logtail组件。具体操作,请参见 安装Logtail组件(阿里云Kubernetes集群)。目标容器持续产生日志。重要 Logtail只采集增量日志。如果...

接入小程序的用户体验数据

本文介绍如何通过日志服务SDK接入小程序的Web用户体验数据。前提条件 已创建1.1.0及以上版本的全栈可观测实例。具体操作,请参见 创建全栈可观测实例。安装和初始化 本文以接入微信小程序的数据为例。登录 日志服务控制台。在 日志应用 ...

通过性能监控分析及优化应用程序的性能

本实践基于A公司的降本增效需求(要求上半年微服务接口性能至少提升30%),介绍日志服务性能监控平台在提升应用程序CPU、内存性能上的应用。A公司待性能优化的为一个gRPC服务,在限定资源情况下(CPU限制为250m核,内存限制为50MB),使用...

接入Go程序性能数据

Pprof是Go语言提供的性能分析工具之一,用于分析和优化Go程序的性能。您可以通过 日志服务 全栈可观测中的Golang拉取功能采集Go Pprof性能数据,以及在全栈可观测中分析及可视化展示数据。前提条件 已创建全栈可观测实例。具体操作,请参见...

接入Kubernetes Go程序性能数据

采集原理 在Kubernetes中,Go程序性能指标采集组件的部署模型与日志采集组件的部署模型相同,都为Daemonset。依托于日志采集组件多维度Kubernetes资源选择能力,采集Go程序的性能指标数据时,也支持通过环境变量、Kubernetes Labels、...

使用前须知

dwd_ump_log_mini_program_event_rt Logstore:用于存储U-MiniProgram小程序实时日志数据。dwd_ump_log_uweb_rt:用于存储U-Web网站实时数据明细。重要 若您曾开通过按写入数据量计费模式,则系统默认创建计费模式为按写入数据量计费的专属...

什么是Logtail

Logtail是日志服务提供的日志采集Agent,用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...

采集-多渠道数据

Syslog日志 Aug 31 11:07:24 zhouqi-mac WeChat[9676]:setupHotkeyListenning event NSEvent:type=KeyDown loc=(0,703)time=115959.8 flags=0 win=0x0 winNum=7041 ctxt=0x0 chars="u"unmodchars="u"repeat=0 keyCode=32 应用程序Debug日志_...

阿里云日志服务Splunk Add-on

使用HTTPS 日志服务 如果服务入口(endpoint)配置为https://前缀,例如https://cn-beijing.log.aliyuncs.com,程序日志服务的连接将自动使用HTTPS加密。服务器证书*.aliyuncs.com是GlobalSign签发,默认大多数Linux、Windows的机器会...

日志服务采集数据常见的错误类型

如果时间字段配置正确,请检查日志记录程序时间输出是否正常。STAT_LIMIT_ALARM 日志采集配置目录中的文件数超限。检查采集的目标目录下是否有较多的文件和子目录,合理设置监控的根目录和目录最大监控深度。您也可以修改 mem_usage_limit ...

通过JDBC协议分析日志

count(1)as c from sample-logstore where status>200 and_time_>=1500975424 and_time_通过JDBC协议访问日志服务 程序调用 您可以在任何一个支持MySQL connector的程序中使用MySQL语法连接日志服务。例如JDBC、Python MySQLdb,示例如下:...

对接Jaeger

OpenTracing是一个轻量级的标准化层,它位于应用程序/类库和追踪或日志分析程序之间。更多信息,请参见 OpenTracing。OpenTracing优势:OpenTracing已进入CNCF,为全球的分布式追踪,提供统一的概念和数据标准。OpenTracing通过提供平台...

使用性能监控分析Golang应用内存泄露问题

本文介绍如何综合运用性能监控(火焰图等)工具,观测并发现应用程序存在的问题。模拟Golang应用内存泄露的示例程序 package main import("github.com/pyroscope-io/client/pyroscope" "log" "os" "runtime" "time" )type demo struct { ...

接入Pyroscope SDK推送的Go程序性能数据

日志服务 支持通过Logtail接入来自Pyroscope SDK推送的Go程序性能数据到全栈可观测应用中,进行可视化的性能监控和分析。前提条件 已创建全栈可观测实例。具体操作,请参见 创建实例。使用限制 Logtail为Linux Logtail 1.7及以上版本。步骤...

接入Pyroscope SDK上报的其他语言程序的性能数据

日志服务支持通过Logtail接收来自Pyroscope SDK上报的其他语言程序性能数据到全栈可观测应用中,进行可视化的性能监控和分析。前提条件 已创建全栈可观测实例。具体操作,请参见 创建实例。使用限制 Logtail为Linux Logtail 1.7及以上版本...

接入Pyroscope SDK或JavaAgent上报的Java程序性能数据

日志服务 支持通过Logtail接收来自Pyroscope SDK或者JavaAgent上报的Java程序性能数据到全栈可观测应用中,进行可视化的性能监控和分析。前提条件 已创建全栈可观测实例。具体操作,请参见 创建实例。使用限制 Logtail为Linux Logtail 1.7...

接入阿里云JavaAgent上报的Java程序性能数据

您可以通过Logtail接入Continuous Profiler Agent上报的Java程序性能数据到全栈可观测应用中,进行可视化的性能监控和分析。前提条件 已创建全栈可观测实例。具体操作,请参见 创建实例。使用限制 Logtail为Linux Logtail 1.7及以上版本。...

Kubernetes中的通用数据库审计部署方案

通用数据库审计是日志服务提供的一种轻量级、低成本数据库安全方案,支持通过抓包方式上报数据库的操作行为流量到日志服务。当您将数据库部署在Kubernetes集群中时,可在容器中部署抓包程序。本文介绍如何在容器中部署抓包程序。前提条件 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
日志服务 文件存储 CPFS 云消息队列 Kafka 版 云监控 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用