通过Sidecar方式采集日志
mountPath:/var/log/nginx name:nginx-log-mountPath:/stdlog name:stdlog volumes:emptyDir:{}#文本文件日志存储到emptyDir卷 name:nginx-log-name:stdlog#标准输出日志存储到stdlog卷 csi:driver:stdlogplugin.csi.alibabacloud.com 获取...
通过Sidecar方式采集日志
mountPath:/var/log/nginx name:nginx-log-mountPath:/stdlog name:stdlog volumes:emptyDir:{}#文本文件日志存储到emptyDir卷 name:nginx-log-name:stdlog#标准输出日志存储到stdlog卷 csi:driver:stdlogplugin.csi.alibabacloud.com 获取...
通过Sidecar方式采集日志
mountPath:/var/log/nginx name:nginx-log-mountPath:/stdlog name:stdlog volumes:emptyDir:{}#文本文件日志存储到emptyDir卷 name:nginx-log-name:stdlog#标准输出日志存储到stdlog卷 flexVolume:driver:alicloud/pod-stdlog 获取Pod信息...
自定义配置ECI日志采集
标签 自定义设置标签的方式如下：name:aliyun_logs_{配置名}_tags-value:{Tag名称}={Tag值} 配置示例 假设您需要自定义以下日志相关配置项：日志库和Logtail配置：标准输出日志保存到stdout-test，文本文件日志保存到file-test。...
NFS文件系统传输加密
使用说明 重要 开启传输加密功能时，如果您的目标ECS实例上对应目录（例如/mnt）已挂载NFS文件系统，请先卸载NFS文件系统，再根据本文重新挂载NFS文件系统。关于如何卸载NFS文件系统的操作，请参见 通过NAS控制台卸载挂载目录。仅支持通用...
CPFS-NFS客户端挂载文件系统（推荐）
挂载选项 挂载文件系统时，可选择多种挂载选项，挂载选项使用半角逗号（,）分隔，说明如下：rsize：定义数据块的大小，用于客户端与文件系统之间读取数据。建议值：1048576。wsize：定义数据块的大小，用于客户端与文件系统之间写入数据。...
文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
Resource
注意事项：使用前请确认在工程面板-资源，对应的文件夹下存在待读取的文本文件#代码调用样例如下，运行后会返回文件的文本内容：content=rpa.project.resource.read('test.txt')get_path get_path(resource_name=None)方法描述 获取资源...
通过Sidecar-CRD方式采集容器文本日志
本文介绍如何安装Sidecar及使用CRD方式创建Logtail配置，完成容器文本日志的采集。前提条件 目标容器持续产生日志。重要 Logtail只采集增量日志。如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请...
通过Sidecar-控制台方式采集容器文本日志
本文介绍通过Sidecar方式在容器上部署Logtail后，如何在 日志服务 控制台上创建Logtail配置采集容器文本日志。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project、创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
导入Amazon S3文件
CSV：分隔符分割的文本文件，支持指定文件中的首行为字段名称或手动指定字段名称。除字段名称外的每一行都会被解析为日志字段的值。单行JSON：逐行读取S3文件，将每一行看做一个JSON对象进行解析。解析后，JSON对象中的各个字段对应为日志...
设置Logtail启动参数
需要采集的日志文件数目大（同时采集的文件数超过100个或所监控的目录下的文件数超过5000个），占用大量内存。日志数据流量大（例如极简模式下超过2 MB/s，正则模式下超过1 MB/s），导致CPU占用率高。Logtail发送数据到日志服务的速率超过...
设置日志收集至SLS
为满足更高的查阅需求，SAE 还提供了文件日志收集功能，支持将业务文件日志（容器内日志路径）、容器标准输出日志（stdout）无限制行数地收集至SLS，便于您聚合分析。启用日志收集到SLS功能后，SAE 将自动在部署、扩容时与SLS对接日志采集...
Logtail采集日志失败的排查思路
如果有大日志量或者大文件量的采集需求，可能需要修改Logtail的启动参数，以达到更高的日志采集吞吐量。更多信息，请参见 设置Logtail启动参数。在完成上述检查后，如果问题仍未解决，请提交 工单，并在工单中提供排查过程中发现的关键信息...
使用Cloud Shell下载日志数据
通过Cloud Shell可以快速下载较大数量的日志文件，并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。前提条件 如果您使用RAM用户下载日志，则需要先给RAM用户授予以下权限：只读访问日志服务的权限（AliyunLogReadOnlyAccess）。...
CLI概述
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。主要功能 日志服务命令行工具CLI的主要功能包括：支持大部分的日志服务REST接口。例如管理Project、Logstore、机器组、消费组和Logtail...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。功能特点 Logtail支持采集容器内产生的标准输出，并附加容器的相关元数据信息一起上传到日志服务。Logtail具备以下功能特点。支持...
将NAS数据迁移至本地
文件存储NAS支持通过rsync命令行工具、Robocopy工具等直接下载数据到本地文件。您也可以将数据同步到OSS后再在OSS侧下载数据到本地文件。重要 下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据下载，避免占用业务...
迁移数据至阿里云NAS
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
采集标准Docker容器日志
本文介绍如何部署Logtail容器以及创建Logtail配置，用于采集标准Docker容器日志（文本日志和标准输出）。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。目标容器持续产生日志。重要 Logtail只采集...
管理本地日志（Binlog）
MySQL的本地日志（Binlog）是一种记录MySQL数据库所有更改操作的日志文件，可用于自行搭建主从架构、订阅数据等。本文介绍如何查看或删除RDS MySQL实例的本地日志（Binlog）。本地日志与日志备份区别 对比项 本地日志（Binlog）日志备份 ...
读取文本文件内容
1.组件介绍 说明 必要前置组件：无 利用本组件可以读取文本文件内容 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 ...
OSS
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")读...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
Logtail最佳实践
本文介绍Logtail采集相关的最佳实践。分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志...插件使用 日志采集支持纳秒精度时间戳 Logtail使用Grok语法解析日志
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
如何实现文件中的日志被采集多份
本文介绍如何实现文件日志被采集多份。背景信息 当多个Logtail采集配置匹配同一个文件时，会导致多倍的CPU、内存、磁盘IO和网络IO资源占用，将影响同一台服务器部署的其他服务性能，因此默认情况下，一个文件只能匹配一个Logtail采集配置。...
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
Logtail基本问题
如何配置Logtail采集日志 日志服务支持通过Logtail采集文本日志和容器日志，还支持通过Logtail插件采集日志。具体操作，请参见如下文档。采集文本日志 采集容器日志 使用Logtail插件采集日志 Logtail是如何工作的？Logtail采集原理包括监听...
概述
更多信息，请参见 采集主机文本日志、通过DaemonSet-控制台方式采集容器文本日志、通过Sidecar-控制台方式采集容器文本日志、通过DaemonSet-CRD方式采集容器日志、通过Sidecar-CRD方式采集容器文本日志。容器标准输出输入插件 支持采集容器...
使用NFSv4 ACL进行权限管理
nfs4_getfacl<filename>>saved_acl.txt 将文件当前的ACL权限保存为一个文本文件。nfs4_setfacl-S saved_acl.txt恢复保存到文本文件里的ACL权限。nfs4_setfacl-m A:1001:rwaxTNcCy A:1001:rxtcy file1 修改文件 file1 上的其中一条ACE的权限...
通过Logtail跨阿里云账号采集容器日志
具体参数说明，请参见 通过DaemonSet-控制台方式采集容器文本日志。重要 默认一个文件只能匹配一个Logtail采集配置。此时账号B下的采集未停止，账号A下的Logtail采集配置无法生效，因此您需要使用如下方式使账号A下的Logtail采集配置生效。...
导入Kafka数据
本文介绍导入Kafka数据到日志服务所涉及的使用限制。采集限制 限制项 说明 压缩格式 Kafka Producer采用的压缩格式需被限制为gzip、zstd、lz4或snappy。其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃...
集群吞吐性能测试
顺序读取 文件存储 HDFS 版 上面500个大小为4 GB的文件，读写数据的缓存大小为8 MB，并将统计数据写入/tmp/TestDFSIOread.log 中。hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.6-tests.jar TestDFSIO-read-...
通过DaemonSet方式采集Kubernetes容器文本日志
本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet模式 在DaemonSet模式中，Kubernetes集群确保每个节点（Node）只运行一个Logtail容器，用于采集当前节点内所有容器（Containers...
日志审计服务概述
Logstore cloudfirewall_log 仪表盘 云防火墙审计中心 堡垒机 操作命令日志 所有在售地域 V3.2版本及以上 Logstore bastion_log 仪表盘 无 对象存储 资源操作日志 数据操作日志 数据访问日志、计量日志 过期文件删除日志 CDN回流日志 华东1...
采集Windows事件日志
您可以通过Logtail插件采集Windows事件日志。本文介绍如何通过日志服务控制台创建Logtail配置采集Windows事件日志。前提条件 已在服务器上安装Windows Logtail 1.0.0.0及以上版本。具体操作，请参见 安装Logtail（Windows系统）。目标...
如何排查容器日志采集异常
当您使用Logtail采集容器（标准容器、Kubernetes）日志时，如果采集状态异常，可以根据本文进行问题排查、运行状态检查等运维操作。问题排查 排查机器组心跳是否异常 排查容器日志采集是否异常 排查机器组心跳是否异常 您可以通过检查机器...
下载或删除网站日志
查看网站日志可以帮助您了解访问者的需求、网站访问量...如果您的网站因占用资源过大的问题被关停，可通过查看和分析网站日志来排查超额占用资源情况，更多信息，请参见 出现网站耗资源（客户程序故障）时如何排查超额占用资源的链接和文件？
- 产品推荐
- 这些文档可能帮助您