Linux实例无法输出系统日志且出现“rsyslogd was ...
问题描述 Linux实例出现系统日志无法输出的情况，例如message、syslog系统日志，本文以syslog系统日志为例。查看最后的日志记录类似如下。rsyslogd was HUPed 问题原因 由于系统日志服务异常退出导致，可以从系统日志的历史信息中找到相关...
采集-多渠道数据
收集方式：应用程序输出日志到硬盘，通过Logtail采集。更多信息，请参见 Logtail采集概述。应用程序通过SDK写入。更多信息，请参见 SDK参考概述。服务端数据采集 支付宝和微信公众账号编程是典型的Web端模式，一般会有四种类型的日志：...
如何查看服务器日志
如何进入查看服务器日志？首先进入部署好的服务器。docker ps 查看所有镜像。进入到rpa-base镜像。docker exec-it 镜像CONTAINER ID/bin/bash 执行cd 切换到根目录 切换到rpa-base的logs文件夹下。cd rpa-base/logs/此路径下，无日期为今日...
配置日志采集
本文介绍如何在EDAS控制台中配置日志采集功能，将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志采集到日志服务进行查询分析。前提条件 已创建ACK集群。具体操作，请参见 创建Kubernetes托管版集群、创建...
日志管理
持久化日志：创建或部署任务时，SAE 可以自动打通日志服务SLS，将容器标准输出日志（stdout）和业务文件日志（容器内日志路径）输出到SLS，帮助您无限制行数地查看日志、自聚合分析日志。设置日志收集 创建或者编辑任务模板时，如果您启用...
日志索引表
云产品分类 CloudLens应用 日志类型 存储 CloudLens for SLS 重要日志（消费组延迟日志、Logtail告警日志、Logtail采集日志、Logtail状态日志）详细日志 任务运行日志（定时SQL任务运行日志、数据导入、投递等任务的运行日志）错误日志 ...
全局操作函数概览
e_output 输出日志到指定的Logstore中，且对应的日志不再执行后面的加工规则。e_coutput 输出日志到指定的Logstore中，且对应的日志继续执行后面的加工规则。e_to_metric 将日志格式转化为时序存储（MetricStore）的格式。字段操作函数 v ...
创建IP地址机器组
如果需要采集服务器日志，必须创建机器组并添加相应服务器。日志服务 支持使用服务器IP地址定义机器组，本文介绍创建IP地址机器组的操作步骤。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。已...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
通过Logtail跨阿里云账号采集日志
否则在机器组中会显示服务器心跳失败，导致Logtail无法采集日志到日志服务。例如某电商公司拥有两个电商应用，部署在阿里云杭州地域的ECS集群上，并使用杭州地域的日志服务进行日志管理。应用A部署在阿里云账号A（12*456）下的ECS集群...
事件操作函数
输出事件 e_output、e_coutput 输出日志到指定的Logstore中，并可配置输出时的topic、source、tag和shard hash信息。e_output：执行到e_output函数时，输出日志到指定的Logstore中，且对应的日志不再执行后面的加工规则。e_coutput：执行到...
服务器迁移中问题
本文介绍服务器迁移相关的故障问题及解决方案。日志报错提示子账号权限不足Forbidden.SubUser，怎么办？日志报错提示Forbidden.Unauthorized错误，怎么办？日志报错提示Your Account Haven't Completed Real-name Authentication错误，...
Logtail最佳实践
本文介绍Logtail采集相关的最佳实践。分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志...插件使用 日志采集支持纳秒精度时间戳 Logtail使用Grok语法解析日志
数据采集常见问题
如何使用Logtail自动诊断工具 Logtail机器组问题排查思路（主机场景）ECS经典网络切换为VPC后，如何更新Logtail配置 Logtail服务的app_info.json文件中IP地址为空导致机器组心跳检测失败 如何采集企业内网服务器日志 如何排查容器日志采集...
使用前须知
阿里云操作审计（ActionTrail）联合日志服务推出平台操作日志（Inner-ActionTrail）功能，提供平台操作日志的实时采集、查询、分析、加工、消费等一站式服务，满足您平台操作日志相关的分析与审计需求。...输出日志到自建的数据与计算中心。
应用场景
告警功能还支持对已接入到日志服务的基础环境日志（例如K8s输出日志、事件等）和应用日志等进行监控，当发现各个环境（开发、预发或线上）的版本错误或指标异常（例如延迟、抖动等）时，及时通知给特定的开发人员。日志审计服务、SLB日志...
采集企业内网服务器日志
本文以Nginx为例，介绍配置正向代理服务器以及通过代理模式将企业内网服务器日志采集到日志服务的解决方案。前提条件 已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。已在服务器上安装Linux Logtail 1.5.0及...
常见问题
如何采集企业内网服务器日志 如何排查容器日志采集异常 查询本地采集状态 如何在日志样例中设置不可见字符 如何查看Logtail采集错误信息 日志服务采集数据常见的错误类型 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则...
Logtail常见问题
如何采集企业内网服务器日志 如何使用Logtail自动诊断工具 Windows场景 Windows实例安装Logtail服务日志提示异常信息 容器场景 如何采集K8s集群的容器日志 日志格式解析问题 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则...
云产品日志概述
容器服务ASK Pro 控制平面组件日志 Project：自定义 k8s-log-集群ID Logstore：apiserver-集群ID ccm-集群ID kcm-集群ID 自定义 弹性容器实例 ECI日志 自定义 自定义 Serverless应用引擎 业务文件日志 容器标准输出日志 自定义 自定义 函数...
配置监控与告警
业务层面：处理日志行数、输出日志行数。创建告警 登录 日志服务控制台。在Project列表区域，单击目标Project。在左侧导航栏中，单击 告警。在 告警规则 页签中，单击 新建告警 右侧的。单击 从模板新建。在 从模板新建 页签中，单击 SLS...
Logstore相关问题
本文介绍日志丢失、删除日志、降低日志存储费用等常见问题。Project无法删除？删除Project或Logstore的步骤，请参见 管理Project、管理Logstore。如果无法删除，请参见 删除Project时提示“操作拒绝，权限不足”。日志服务SLS的日志丢失？...
使用限制
特殊任务 日志服务的Trace、Cloud Lens for SLB等功能依赖定时SQL。为了保证这些功能的正常运行，定时SQL限制了这类任务的变更操作，即不支持在定时SQL的任务管理界面对这类任务进行更新、复制和删除操作。如果您需要更新、复制和删除任务...
数据加工
此限制可通过数据加工任务日志进行定位，参考 错误日志查看方式。重要 数据加工在遇到目标Logstore写入限制错误时会执行无限重试，以保证数据完整，但是加工任务进度会因此受影响，导致负责当前源Shard的负载处理延迟。跨地域传输 通过公网...
使用限制
此限制可通过数据加工任务日志进行定位，参考 错误日志查看方式。重要 数据加工在遇到目标Logstore写入限制错误时会执行无限重试，以保证数据完整，但是加工任务进度会因此受影响，导致负责当前源Shard的负载处理延迟。跨地域传输 通过公网...
采集主机文本日志
本文介绍如何使用Logtail采集主机文本日志。前提条件 已创建Logtail机器组并添加相应服务器，创建机器组的步骤，请参见 创建用户自定义标识机器组（推荐）或 创建IP...将企业内网服务器日志采集到日志服务，请参见 采集企业内网服务器日志。
数据加工快速入门
重要 预览时不会输出日志到目标Logstore中，而是输出到名为internal-etl-log的Logstore中。internal-etl-log Logstore是您首次执行数据加工预览时，系统在当前Project下自动创建的专属Logstore，不支持修改配置及写入其他数据，不收取任何...
多目标Logstore数据分发
如果您使用的是e_output函数，则通过e_output函数输出日志到指定的Logstore后，对应的日志不再执行后面的加工规则。如果您希望输出日志到指定的Logstore后，对应的日志还能继续执行后面的加工规则，可使用e_coutput函数。更多信息，请参见 ...
常见问题
支持接入云产品日志、开源系统日志、多云环境日志、本地服务器日志。提供一站式平台服务：支持采集、分析、加工、可视化、投递、告警等一站式的数据生命周期管理功能。具备智能、高效的数据分析能力：秒级分析百亿级数据能力、智能运维...
函数总览
本文列举数据加工任务所涉及的所有函数。全局操作函数 函数分类 函数名称 说明 流程控制函数 e_if 条件与操作组合。满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。对于某一条日志，如果其中某一操作删除了...
创建流日志
您可以在智能接入网关中创建流日志实例，将智能接入网关的传入和传出流量信息投递到日志服务中。本文介绍创建流日志实例的操作步骤及相关操作。前提条件 已购买智能接入网关SAG-1000设备且其软件版本为1.7.0及以上。具体操作，请参见 购买...
创建OSS投递任务（旧版）
重试任务 日志服务会按照策略默认为您重试，您也可以手动重试。日志服务默认重试最近两天之内所有失败的任务，重试等待的最小间隔是15分钟。当任务执行失败时，第一次失败需要等待15分钟再进行重试，第二次失败需要等待30分钟再进行重试，...
智能异常分析概述
日志常量 日志往往由程序中的 logging 语句或者 print 语句产生。例如 connect mysql server,latency 212ms 日志可能是通过日志输出语句 logging.info("connect mysql server,latency%dms")产生。每次执行日志输出语句都包含的部分称为日志...
采集Python日志
使用Log Handler自动上传Python日志 Log Handler自动解析KV格式的日志 Log Handler自动解析JSON格式的日志 在formatter中定义日志输出格式，采用%(key)s 形式。示例如下：import logging import logging.handlers LOG_FILE='tst.log' ...
数据加工常见问题
本文列举日志服务数据加工的常见问题。错误排查概述 加工引擎启动错误 源Logstore读取错误 加工规则错误 资源加载错误...如何将一条日志输出到不同目标？目标Logstore无数据怎么处理？目标Logstore有多余数据怎么处理？如何处理数据加工延迟？
加工原理
调度原理 日志服务的数据加工功能使用协同消费组对源日志库的日志数据进行流式消费，将每一条日志通过加工规则处理后再输出。调度机制 对每一个加工规则，加工服务的调度器会启动一个或多个运行实例，每个运行实例扮演一个消费者的角色去...
使用Cloud Toolkit
过滤内部字段 日志输出中过滤掉_开头的字段。回到顶部 回到表格顶部。滚至底部 滚动表格至底部并加载更多。表格项右键 查看上下文 查看当前日志前后若干时间内的日志。支持前后10秒钟、前后1分钟、前后5分钟和前后10分钟。在编辑器中打开 ...
通用数据结构
log：消费组延迟日志 logtail_alarm：Logtail告警日志 operation_log：操作日志（此项服务收费）logtail_profile：Logtail采集日志 metering：计量日志 logtail_status：Logtail状态日志 scheduledsqlalert：定时SQL任务运行日志 ...
日志字段详情
session_id 会话ID reach_time 到达日志服务器的时间，可作为日志时间直接使用。event_id 埋点的事件ID 如果事件ID为2001，则 page 表示当前页面，arg1 表示上一个页面。如果事件ID为19999，则 page 默认为page_extend，可埋点重写，arg1 ...
新版任务监控大盘常见问题
异常原因 未开通任务运行日志时，日志服务无法监控您的日志服务数据资产，任务监控大盘无法获取对应的统计数据进行展示。解决方案 找到任务所在的Project，开通该Project的任务运行日志采集。推荐通过 CloudLens for SLS 开通目标Project的...
- 产品推荐
- 这些文档可能帮助您