pull_log_dump

调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...

运维中心

本文介绍通过运维中心管控工作调度任务、监控任务运行状态、查看工作记录和审计日志,便于您对工作的管理和运维。背景信息 本文为您介绍运维中心的相关操作,具体如下:查看项目任务概览 管理工作记录 查看审计日志 前提条件 已...

过滤VPC流日志公网流量

在专有网络VPC控制台上开通流日志功能后,流日志将被采集到日志服务中,您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...

如何解决查询分析与处理两种场景下的数据口径差异

您在使用阿里云日志服务(SLS)查询分析和和处理时,难免会碰到数据口径差异,您可以使用两种时间戳(_time_和_receive_time_)解决。问题现象 在使用日志服务查询分析时,难免会碰到源端时间字段同步到目标端之后,发生时间不一致的问题...

数据流运维

单击 状态 列前的,查看数据流运行日志。在 操作 列中,单击 执行历史,查看数据流的 操作时间、操作人员 和 操作内容。在 操作 列中,对不同执行状态的数据流进行 终止、重跑、暂停、恢复 和 置成功 的操作。说明 对于执行成功的数据流,...

管理运维中心

单击 详情,可查看所选作业的详细信息,包括作业实例信息、提交日志、YARN容器列表、审计日志数据流监控。单击 启动 或 停止,可启动或是停止所选的作业。管理流式作业 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据...

使用MongoDB存储日志数据

数据分片 当写日志的服务节点越来越多时,日志存储的服务需要保证可扩展的日志写入能力以及海量的日志存储能力,这时就需要使用MongoDB sharding来扩展,将日志数据分散存储到多个shard,关键的问题就是shard key的选择。按时间戳字段分片...

基于SLS+OSS+DLA构建海量、低成本日志分析方案

DLA提供强大的分析能力,可以对投递到OSS上的日志按年、月、日进行多维度的分区,提高日志的命中率,降低扫描量,从而以极低的成本、极高的性能来完成大数据量历史日志分析。实施步骤 假设您的应用服务部署在ECS集群上,该集群每台机器上的...

畅捷通

并发量 几万个点并发发送数据,每天产生的各种日志与消息达到TB级。自建的ELK系统性能较差,优化性能需要耗费大量开发资源。类型杂 访问类、系统类、应用类、通知类、消息类等等,种类繁多、格式千奇百怪,为数据清洗增加了巨大的难度。...

使用前须知

阿里云日志服务与全站加速DCDN联合推出日志功能,支持近实时采集DCDN实时日志日志服务提供实时查询、可视化分析、告警、投递、加工等一站式服务。本文介绍DCDN实时日志相关的功能介绍、资产详情、费用说明及使用限制。功能介绍 您的业务...

备份大小

方法 三:减少不必要的增删改,减少对字段的更新 对数据库的增删改操作都会导致日志备份大小增加。说明 使用 SQL洞察 功能可以查看数据库的增删改查记录。关闭日志备份 访问 RDS实例列表,在上方选择地域,然后单击目标实例ID。在左侧...

使用前须知

海量:访问日志数据规模很,处理访问日志需要考虑性能和成本问题。日志中心可自定配置预聚和功能,实时计算聚合指标,计算后的聚合结果可降低几个数量级,使查询速度大大提升。实时:秒级分析处理实时产生的日志。弹性:可任意设置日志...

成本优势

800 元/天 内网采集(数据量小)-内网采集(数据量中)-内网采集(数据)-日志存储与查询引擎 关注点 LogSearch ES(Lucene Based)NoSQL Hive 规模 规模 PB TB PB PB 成本 存储(元/GB*天)0.0115 3.6 0.02 0.035 写入(元/GB)0.35 5 ...

日志字段详情

direction 流量方向 in:入方向流量 out:出方向流量 packets 数据包数量 bytes 数据包大小 start 捕捉窗口开始时间 end 捕捉窗口结束时间 log-status 流日志日志记录状态 OK:数据记录正常。NODATA:捕获窗口中没有传入或传出网络接口的...

使用前须知

每条日志会捕获特定捕获窗口中的特定五元组网络,捕获窗口大约为10分钟,该段时间内流日志功能先聚合数据,再发布流日志记录。流日志记录的字段信息,请参见 日志字段详情。资产说明 自定义日志服务Project、Logstore 重要 请勿删除VPC...

备份大小

备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角,选择目标地域。在左侧导航栏中,选择 实例列表>MySQL。找到目标实例,单击 操作 列的 详情。在 基本信息 页面右下角,查看备份大小。...

VPC

direction 流量方向,包括:in:入方向流量 out:出方向流量 packets 数据包数量 bytes 数据包大小 start 捕捉窗口开始时间 end 捕捉窗口结束时间 log-status 流日志日志记录状态,包括:OK:数据记录正常。NODATA:捕获窗口中没有传入或...

Binlog日志服务

多流形态:即多流binlog日志(也称为Binlog-X),并不是将所有DN的binlog归并到一个全局队列,而是将数据进行Hash打散并分发到不同的日志流,在一定程度上牺牲了事务的完整性,但大大提升了扩展性,可以解决规模集群下单流binlog存在的单...

日志字段详情

packets 数据包数量 bytes 数据包大小 start 捕捉窗口开始时间 end 捕捉窗口结束时间 log-status 流日志日志记录状态。包括:OK:数据记录正常。NODATA:捕获窗口中没有传入或传出网络接口的网络流量。SKIPDATA:捕获窗口中跳过了一些...

使用前须知

传统型负载均衡结合日志服务强大的大数据计算能力,秒级分析处理实时产生的日志。重要 99.9%的情况下,日志延迟不超过3分钟。弹性:您可按CLB实例级别开通或关闭访问日志功能,可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长...

RDS SQL Server空间不足问题

由于tempdb库总是使用简单恢复模式,因此tempdb库的日志文件通常很小,但是数据文件容易增长地很快,例如创建大量临时表、连接表或排序等都可能导致tempdb库数据文件空间增加。解决方案 尽量从数据库应用层面规避,例如减少不必要的临时...

最佳实践

分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...

创建流日志

本文介绍在VPC控制台上创建流日志的操作步骤及其相关的操作。前提条件 已创建资源实例。具体操作,请参见 创建弹性网卡、创建和管理专有网络 和 创建和管理交换机。已在资源实例所在地域创建日志服务Project和Logstore。具体操作,请参见 ...

数据模型

本文介绍采集到日志服务中的日志数据数据模型。为方便您理解日志服务中日志数据数据模型并顺利使用,从如下基本概念展开介绍。地域(Region)地域为阿里云的服务节点。通过在不同的阿里云地域部署服务,实现您的服务距离您的客户更近,...

使用前须知

结合日志服务强大的大数据计算能力,秒级分析处理实时产生的日志。弹性:可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能:基于达摩院智能AIOps算法,提供各类指标自动巡检功能,有助于更快、更准确地发现并定位...

监控与日志

日志服务 云原生多模数据库 Lindorm 集成了阿里云日志服务SLS,您可以在Lindorm管理控制台开启审计日志功能,通过日志服务收集和处理云产品的操作信息、运行状态、业务动态等日志数据,并进行实时分析和投递,实现对日志的实时监控和审计。...

创建数据流

数据管理DMS离线集成中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...

常见问题

如何采集K8s集群的容器日志 SLB访问日志采集不到 日志采集Agent对比 日志服务采集功能与Kafka对比 Windows系统的ECS安装Logtail服务日志提示异常信息 如何配置日志服务的时间转换格式 数据存储常见问题 日志服务如何存储、管理用户的日志?...

云监控

您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标,获取日志服务的使用情况。同时您可以通过创建报警规则,对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标,需要主账户为其授予云...

创建流日志

您可以在智能接入网关中创建流日志实例,将智能接入网关的传入和传出流量信息投递到日志服务中。本文介绍创建流日志实例的操作步骤及相关操作。前提条件 已购买智能接入网关SAG-1000设备且其软件版本为1.7.0及以上。具体操作,请参见 购买...

概述

日常工作中,企业通常会对实时日志数据进行开发。其中:日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明...

采集-IoT/嵌入式日志

配置如下:C Producer配置 ARM(树莓派)缓存:10 MB 聚合时间:3秒(聚合时间、聚合数据包大小、聚合日志数任一满足即打包发送)聚合数据包大小:1 MB 聚合日志数:1000 发送线程:1 自定义tag:5 X86 缓存:10MB 聚合时间:3秒(聚合时间...

使用前须知

负载均衡结合日志服务强大的大数据计算能力,秒级分析处理实时产生的日志。重要 99.9%情况下,日志延迟不超过3分钟。弹性:您可按ALB实例级别开通或关闭访问日志功能,可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。...

查询和分析日志

SQL增强 当您在使用SQL分析时,如果数据量较日志服务无法在一次查询中完整分析这个时间段内的所有日志。通过开启SQL独享版,增加计算资源,可以提升单次分析的数据量。更多信息,请参见 开启SQL独享版。Scan扫描 在某些场景下无法创建...

使用前须知

阿里云负载均衡结合日志服务强大的大数据计算能力,秒级分析处理实时产生的日志。弹性:您可按照CLB实例级别开通或关闭访问日志功能,任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能:基于达摩院智能AIOps算法,提供...

创建流日志

您可以在云企业网控制台上创建流日志实例,将转发路由器之间的跨地域流量信息或边界路由器VBR连接的流量信息投递到日志服务中。本文介绍创建流日志实例的操作步骤及相关操作。前提条件 如果您需要捕获跨地域连接的流量信息,请确保已经创建...

查询分析程序日志

数据:程序日志一般比访问日志大1个数量级。分布的服务器多:部分应用为无状态模式,运行在不同框架中,例如云服务器、容器服务等,对应的实例数从几个到数千个,需要有一种跨服务器的日志采集方案。运行环境复杂:程序运行在不同的...

通过日志服务迁移日志数据至MaxCompute

本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务,详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...

复制Logstore数据

如果您需要将Logstore中的日志数据保存多份,可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...

使用前须知

在捕获窗口内,流日志服务会先聚合数据,然后再发布流日志记录。资产详情 自定义的日志服务Project、Logstore 重要 请勿删除智能接入网关流日志相关的日志服务Project和Logstore,否则将无法正常采集日志日志服务。创建自定义Logstore时...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
日志服务 数据传输服务 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用