分析网站日志
日志服务支持通过SQL92语法分析日志，并提供丰富的统计图表展示分析结果。本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体...
查看与分析API调用日志（公测）
数据服务提供日志分析功能，您可以使用日志分析功能对调用请求进行分析，当调用请求出现异常时，智能分析能帮助您快速定位问题，并给出诊断结果和建议。使用限制 仅DataWorks专业版及以上版本，支持使用智能分析功能。您目前可以免费体验，...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
DLA提供强大的分析能力，可以对投递到OSS上的日志按年、月、日进行多维度的分区，提高日志的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史日志分析。实施步骤 假设您的应用服务部署在ECS集群上，该集群每台机器上的...
查看Trace实例详情
接入Trace数据后，您可以在Trace实例详情页面，进行查看Trace数据详情、Trace拓扑、入口事务指标、慢Trace，查询和分析日志数据，管理Logstore和Metricstore等操作。前提条件 已接入Trace数据。具体操作，请参见 接入trace数据。进入 Trace...
日志管理
设置查询时间，通过查询语句检索日志，并查看日志分析数据。威胁分析与响应的日志搜索功能和云安全中心日志分析查询方法相同，具体操作，请参见 自定义日志查询与分析。更多操作 修改日志存储天数 开启投递的云产品日志默认存储天数为180天...
如何解决查询分析与流处理两种场景下的数据口径差异
您在使用阿里云日志服务（SLS）查询分析和和流处理时，难免会碰到数据口径差异，您可以使用两种时间戳（_time_和_receive_time_）解决。问题现象 在使用日志服务查询分析时，难免会碰到源端时间字段同步到目标端之后，发生时间不一致的问题...
Jindo sql命令介绍
分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须每次使用分区表模式，否则文件会被归档...
Jindo sql命令介绍
分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须每次使用分区表模式，否则文件会被归档...
开通日志功能
本文介绍如何在移动研发平台EMAS控制台上开通日志功能，将日志推送到日志服务中。...后续步骤 日志服务采集到移动数据分析日志后，您可以执行查询分析、下载、投递、加工、创建告警等操作。具体操作，请参见 云产品日志通用操作。
使用前须知
阿里云日志服务和移动数据分析（Mobile Analytics）联合推出日志功能，实时采集日志到日志服务。日志服务提供查询、分析、加工、消费等一站式服务，帮助您多维度分析用户行为，提升App的用户体验。本文介绍移动数据分析日志功能相关的资产...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
日志字段详情
本文介绍移动数据分析日志字段详情。字段名称 说明_topic_日志主题，固定为man_dispatch_log。app_id App ID app_name App中文名称 app_version App版本号 channel App分发渠道 imei 移动设备国际身份码的缩写 imsi 国际移动用户识别码 ...
查询和分析日志
创建定时SQL任务：日志服务 提供定时SQL功能，用于定时分析数据、存储聚合数据、投影与过滤数据。具体操作，请参见 定时SQL。日志聚类 在 日志聚类 页签中，单击 开启日志聚类，可实现在采集日志时聚合相似度高的日志。具体操作，请参见 ...
可视化概述
可视化方式 日志服务支持的可视化方式如下：项目 说明 仪表盘 仪表盘是日志服务提供的实时数据分析大盘。您可以在仪表盘查看多个基于查询与分析结果的统计图表。当您打开或刷新仪表盘时，统计图表自动执行一次查询与分析操作。统计图表 ...
查询防护日志
创建定时SQL任务：日志服务 提供定时SQL功能，用于定时分析数据、存储聚合数据、投影与过滤数据。具体操作，请参见 定时SQL。日志聚类 在 日志聚类 页签中，单击 开启日志聚类，可实现在采集日志时聚合相似度高的日志。具体操作，请参见 ...
快速入门
产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以快速地、近乎于准实时地存储、查询和分析超大数据集，可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用。Elasticsearch快速入门 Logstash ...
ActionTrail日志清洗
日志分析痛点 ActionTrail是阿里云提供的云账号资源操作记录的查询和投递服务，可用于安全分析、资源变更追踪以及合规性审计等场景。您可以通过 ActionTrail控制台 查看各个云产品的操作日志。对于30天以内的日志，ActionTrail支持投递到 ...
日志查询
为 Web 应用防火墙 WAF（Web Application Firewall）防护对象开启日志采集后，您可以通过日志查询，对防护对象的日志数据进行查询与分析，并基于查询与分析结果生成统计图表、创建告警等。前提条件 已开启WAF日志服务。相关操作，请参见 ...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
离线同步任务运维
说明 若您需要了解日志执行过程中的相关参数请参见：离线同步日志分析。查看离线数据大屏 您还可以在 运维大屏>离线同步 页面查看离线同步任务的运行状态分布、数据同步进度、同步数据量统计、同步任务执行详情（可基于来源端与目标端数据...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
快速使用WAF日志服务
关于日志分析仪表盘包含的具体图表数据以及如何创建订阅，请参见 查看日志分析仪表盘。WAF专属日志项目及日志库 下表描述了阿里云日志服务自动创建的WAF专属日志项目（Project）及日志库（Logstore）的默认配置。重要 请勿随意删除或修改...
什么是实时日志
使用实时日志的优势 时效性高：开通服务后，日志数据自动投递到日志服务，可查看实时日志分析结果，日志时效性在3分钟以内。字段丰富：实时日志提供更加丰富的日志字段，详见 实时日志采集字段说明。业务合规：实时日志采集投递具备合规性...
API概览
DoSelfDelegate 是否允许某个普通成员获取告警、日志分析等资源的权限 威胁分析管理员对普通成员进行授权和取消授权的操作，使之能够查看或者取消查看日志分析、告警等资源。存储管理 API 标题 API概述 RestoreCapacity 置空已有的存储 ...
使用MongoDB存储日志数据
本文以存储Web服务的访问日志为例，介绍如何使用MongoDB来存储、分析日志数据，让日志数据发挥最大的价值。本文的内容同样适用于其他的日志存储型应用。Web服务器日志 一个典型的Web服务器的访问日志类似如下，包含访问来源、用户、访问的...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
使用前须知
功能优势 时效性高：开通服务后，日志数据自动投递到日志服务，可查看实时日志分析结果，日志时效性在3分钟以内。字段丰富：实时日志提供更加丰富的日志字段。更多信息，请参见 日志字段详情。业务合规：实时日志采集投递具备合规性。强大...
云监控消费
提供日志数据实时分析、监控图表展示、报警服务的全套解决方案。基于阿里云Apsara Monitor服务，提供稳定可靠的日志监控体验。全SaaS服务，几乎无时间成本、人力成本和运维成本，让您快速拥有企业级业务日志实时监控能力。创建日志监控操作...
开启SQL独享版
当使用SQL分析时，如果数据量较大，日志服务可能只返回部分匹配的结果。增加Shard数量可以提升读写能力，但只对新写入的数据生效，而且会导致 实时消费 的客户端过多。SQL独享版支持更强大的SQL分析能力，可以解决这一问题，典型场景包括：...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
最佳实践
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
查看审计日志
在左侧导航栏，选择 数据审计>日志分析。在 日志分析 页面左侧产品名称导航栏，单击目标产品名称。在 分析模式 下，查看日志记录。选择需要查看审计活动的时间段后，DSC按照时间由近及远的展示数据库活动。单击目标记录操作列的 详情，可...
使用前须知
业务规划 您可以根据访问日志进行数据分析，提前规划业务规格。例如，根据加速区域的访问流量趋势，提前进行带宽升级以满足业务发展，或者进行带宽降级以节省成本；根据访问日志中的 http_host 字段，查看某段时间内访问应用的host列表，为...
使用访问日志
业务规划 您可以根据访问日志进行数据分析，提前规划业务规格。例如，您可以根据加速区域的访问流量趋势，提前进行带宽升级以满足业务发展，或者进行带宽降级以节省成本；您可以根据访问日志中的 http_host 字段，查看某段时间内访问应用的...
对接Kibana
本文介绍如何使用Kibana访问日志服务的...查询和分析数据。重要 使用Kibana和Elasticsearch兼容接口分析日志服务数据时，目前只支持使用Discover和Dashboard这两个模块。在左侧导航栏中，选择 Analytics>Discover。选择目标索引。查询数据。
查询和分析JSON日志的常见问题
首先，在查询和分析JSON日志时，如果数据量很大或结构复杂但相对固定，并且您对查询分析性能有要求时，建议对JSON叶子节点建立字段索引，然后再进行查询分析。如果数据量比较小，出于成本考虑，您可以不对JSON叶子节点建立字段索引，而是...
create_external_store
注意事项 说明 在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。更多信息，请参见 关联外部数据源简介、关联Logstore与OSS外表进行查询和分析 和 ...
- 产品推荐
- 这些文档可能帮助您