如何避免多进程/多客户端并发写同一日志文件可能出现...
问题现象 文件存储 NAS（Apsara File Storage NAS）为多客户端提供了统一名字空间的文件共享读写能力，但在多进程/多客户端并发写同一个文件的场景中（典型的例如并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上...
性能说明FAQ
问题原因：access_log 指令中的日志文件路径包含变量，每次写日志时都会重新打开文件，再写入日志，然后关闭文件。NAS为了保证数据的可见性，会在关闭文件时将数据写回服务端，性能消耗较大。解决方案：方案一：删除 access_log 指令中的...
使用 SDK
如果检测到前 3 天的日志文件总大小超过 30 MB，前 3 天的日志都会被删除。文件大小限制：默认不超过 100 MB。超过 100 MB 后，会按时间顺序从前到后删除前一半大小的日志。例如有 120 MB 的日志，会删除 60 MB。获取在线用户诊断日志 应用...
云数据库RDS
mysql_perf_innodb_log_write_requests 平均每秒日志写请求数 mysql_perf_innodb_log_writes 平均每秒向日志文件的物理写次数 mysql_perf_innodb_os_log_fsyncs 平均每秒向日志文件完成的fsync()写数量 mysql_perf_ins_size RDS实例磁盘...
EMR HBase日志说明
日志文件保留策略 由于*.gc和*.out日志文件日志量较少，这里的日志文件保留策略主要是针对*.log日志文件。默认保留策略：保留20个，每个文件最大256 MB。说明 您可以根据实际需求修改/etc/taihao-apps/hbase-conf/log4j.properties 配置...
读写访问文件类问题
问题现象 文件存储NAS为多客户端提供了统一名字空间的文件共享读写能力，但在多进程或多客户端并发写同一个文件的场景中（典型的例如并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上下文信息，而NFS协议本身并...
应用监控指标
服务总览 指标名称 说明 单位 数据源 ERROR 应用错误 次 应用日志（自定义日志文件）配置于 Error 应用错误。PV 页面访问量 次 应用日志（自定义日志文件）配置于 PV 页面访问量。Service 应用服务被调用 次 应用日志（自定义日志文件）...
采集-多渠道数据
2016/04/18 18:59:01:/var/www/html/SCMC/routes/example.php:329 [thread:1]errorcode:20045 message:extractFuncDetail failed:account_hsf_service_log 实施方法 日志写到本地文件，通过Logtail配置正则表达式写到指定Logstore中。...
Logtail基本问题
例如app.LOG文件通过日志文件轮转生成app.LOG.1、app.LOG.2等，Logtail会自动检测到日志文件轮转过程，并保证这个过程中不会丢失日志。Logtail如何处理网络异常？网络异常、写入Quota满时，Logtail会停止读取正在采集的日志，保持文件打开...
日志转存
日志文件命名规则 转存后的日志文件命名规则如下：<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString 字段 说明 TargetPrefix 日志文件的文件名前缀。SourceBucket 产生访问日志的源Bucket名称。YYYY-mm-DD-HH-MM-SS 日志文件...
Logtail采集详情
将Logtail采集配置应用到机器组后，对应服务器上没有发生修改事件的日志文件会被判定为历史日志文件，Logtail监听到历史日志文件，并不会采集。当日志文件产生了修改事件，才会触发采集流程，Logtail开始读取文件。如果您要采集历史日志...
导入历史日志文件
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。如果您需要采集历史日志，可使用Logtail自带的导入历史日志文件功能。前提条件 已在服务器上安装0.16.15（Linux系统）或1.0.0.1（Windows系统）及以上版本的...
Logtail采集日志失败的排查思路
操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件。如果下发Logtail配置后，日志文件有更新，请执行下一步。确认机器组心跳是否...
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
日志管理
如果已经将某个日志文件添加到日志服务，也可以在 日志目录 页面日志文件列表的 操作 列，单击 搜索。在 日志搜索 页面 日志文件 下拉列表中选择日志目录或日志文件。查看应用日志。查看应用日志包括 日志聚类、LiveTail 和 查询和分析。...
LiveTail
在传统的运维方式中，如果需要对日志文件进行实时监控，需要在服务器上对日志文件执行 tail-f 命令，如果实时监控的日志信息不够直观，还需加上 grep 命令或者 grep-v 命令进行关键词过滤。日志服务在控制台提供了日志实时监控的交互功能...
上下文查询
传统的上下文查询中，需要管理员等相关人员添加机器登录权限，然后运维人员依次登录应用所部署的每一台机器，以订单ID为关键词搜索应用程序日志文件，帮助判断下单失败原因。在日志服务中，可以按照以下步骤排查。在服务器上安装日志采集...
什么是Logtail
自动处理日志轮转 很多应用会按照文件大小或者日期对日志文件进行轮转（rotation），把原日志文件重命名，并新建一个空日志文件等待写入。例如：app.LOG 文件，通过日志轮转会生成 app.LOG.1、app.LOG.2 等。您可以指定采集日志写入的文件...
IIS模式解析
配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件格式。NCSA：NCSA公用日志文件格式。W3C：W3C扩展日志文件格式。IIS配置字段 配置IIS配置字段，具体说明如下：日志格式为...
如何使用Logtail自动诊断工具
如果下发Logtail采集配置后，日志文件无更新，则Logtail不会采集该文件。更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget ...
分区
Logstore读写日志必定保存在某一个分区（Shard）上。每个日志库（Logstore）分若干个分区，每个分区由MD5左闭右开区间组成，每个区间范围不会相互覆盖，并且所有的区间的范围是MD5整个取值范围。Shard是每个Logstore下读写基本单元，每个...
采集主机文本日志
Logtail只采集增量日志，如果下发Logtail配置后日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机...
下载或删除网站日志
网站日志文件存放在站点的 wwwlogs 文件夹下，您可以通过FTP客户端将日志文件下载到您本地进行查看。具体操作，请参见 使用FileZilla管理文件。说明 关于网站日志的更多信息，请参见 网站日志介绍。网站日志介绍 访问日志 用于对网站访问者...
日志主题
如果不同的用户或者实例将日志保存在不同目录中，但是下级目录和日志文件名相同，日志服务在采集日志时无法明确区分日志是由哪个用户或实例产生的。提取文件路径中的单个值 您可以在创建Logtail配置时将 Topic生成方式 设置为 文件路径正则...
查看文件日志
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
采集Python日志
(pathname)s 日志文件路径。(filename)s 日志文件名。(module)s 日志所在的模块名。(funcName)s 日志输出函数的名称。(lineno)d 日志输出函数的语句所在的代码行。(created)f 日志创建时间，UNIX时间戳格式。(relativeCreated)d 日志创建...
查询不到日志的排查思路
待采集的日志文件没有实时写入数据。您可以打开/usr/local/ilogtail/ilogtail.LOG 查看报错信息。常见错误如下：parse delimiter log fail：通过分隔符模式采集日志出错。parse regex log fail：通过完整正则模式采集日志出错。分词符设置...
设置日志收集至SLS
您可以通过给日志文件名称添加通配符的方式滚动日志。文件名称通配符支持星号（*）和问号?查看文件日志时，在 SLS控制台 无数据展示，如何处理？通常SLS默认查询最近15分钟内的查询结果。如果SLS无数据显示，建议使用Webshell查看您的应用...
消费-搭建监控系统
统一的配置管理：需要收集哪些日志文件，只要在服务端配置一次，配置会自动下发到所有机器。结构化的数据：所有数据格式化成日志服务的数据模型，方便下游消费。弹性的服务能力：处理大规模数据写入和读取的能力。图 1.监控系统架构 如何...
通过DaemonSet方式采集Kubernetes容器文本日志
containerd：当容器被停止时，Logtail会持续持有容器内文件的句柄（即保持对日志文件的打开状态），直至所有日志文件内容发送完毕。因此，当出现网络延迟、资源占用多等原因导致的采集延时时，可能会导致业务容器不能及时销毁。前提条件 已...
开启日志采集功能
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
通过Sidecar方式采集Kubernetes容器文本日志
为了采集同一Pod中其它容器的日志文件，需要通过共享存储卷的方式来完成，即将同一份存储卷分别挂载到业务容器和Logtail容器。Sidecar方式采集容器日志的更多信息，请参见 Sidecar日志采集介绍 和 Sidecar模式示例。存储卷的更多信息，请...
配置日志采集
本文介绍如何在EDAS控制台中配置日志采集功能，将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志采集到日志服务进行查询分析。前提条件 已创建ACK集群。具体操作，请参见 创建Kubernetes托管版集群、创建...
日志管理
持久化日志：创建或部署任务时，SAE 可以自动打通日志服务SLS，将容器标准输出日志（stdout）和业务文件日志（容器内日志路径）输出到SLS，帮助您无限制行数地查看日志、自聚合分析日志。设置日志收集 创建或者编辑任务模板时，如果您启用...
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
监控日志服务
日志服务提供服务日志功能，用于记录操作日志、消费组延迟日志、Logtail告警日志、Logtail采集日志和Logtail状态日志，帮助您实时掌握日志服务的使用状况，提高运维效率。前提条件 已开通服务日志。更多信息，请参见 开通服务日志。背景...
文件存储 HDFS 版（Apsara File Storage for HDFS）...
ActionTrail中记录的 文件存储 HDFS 版（Apsara File Storage for HDFS）操作日志 文件存储 HDFS 版（Apsara File Storage for HDFS）的操作审计日志主要包含的是API事件，其中OpenAPI事件在ActionTrail中记录的eventType取值为 ApiCall。...
日志服务采集数据常见的错误类型
单击错误查看详细报错，根据其中的日志文件路径、Project、Logstore等信息进行进一步排查。OPEN_LOGFILE_FAIL_ALARM Logtail打开文件出错。单击错误查看详细报错，根据其中的日志文件路径、Project、Logstore等信息进行进一步排查。PARSE_...
如何排查容器日志采集异常
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。只支持采集容器默认存储或挂载到本地的文件中的日志，暂不支持其他存储方式。采集到日志后，您需要先创建索引，才能在Logstore中...
采集Windows事件日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。原理 对于事件日志，Windows提供了 Windows Event Log 和 Event Logging 两套API，前者是后者的升级，仅在Windows Vista及以上的...
- 产品推荐
- 这些文档可能帮助您