pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
概述
日常工作中，企业通常会对实时日志数据进行开发。其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明...
通过Tunnel迁移日志数据至MaxCompute
本文为您介绍如何通过Tunnel上传日志数据至MaxCompute。前提条件 安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端。将日志数据保存至本地。本文使用的示例数据为 loghub.csv。背景信息 Tunnel是MaxCompute的批量上传数据工具...
通过日志服务迁移日志数据至MaxCompute
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至MaxCompute。前提条件 执行本操作的账号为主账号。已开通日志服务，详情请参见 开通日志服务。背景信息 日志服务提供将实时采集的日志数据投递至MaxCompute的功能。如果启用该...
GetInstanceLog
超过7天的实例可能查不到日志数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
通过DataHub迁移日志数据至MaxCompute
本文为您介绍如何通过DataHub迁移日志数据至MaxCompute。前提条件 授权访问MaxCompute的账号已开通以下权限：MaxCompute中项目的CreateInstance权限。MaxCompute中表的查看、修改和更新权限。授权操作详情请参见 MaxCompute权限。背景信息 ...
开发入门
本文介绍Spark Streaming如何消费Log Service中的日志数据和统计日志条数。Spark接入Log Service 方法一：Receiver Based DStream val logServiceProject=args(0)/LogService中的project名。val logStoreName=args(1)/LogService中的...
使用E-MapReduce进行MySQL Binlog日志准实时传输
在SLS控制台查看日志数据是否上传成功，如果未上传成功请根据SLS的采集日志排查。编译JAR包并上传至OSS。在本地打开Git复制示例代码。git clone https://github.com/aliyun/aliyun-emapreduce-demo.git 修改示例代码。示例代码中已经有...
使用前须知
阿里云开源大数据平台E-Mapreduce（EMR）联合日志服务推出日志功能，用于将EMR日志投递到日志服务进行查询分析。本文介绍EMR日志相关的资产、费用、使用限制等信息。资产详情 自定义的Project和专属Logstore 您可以自定义一个Project，系统...
快速使用全量日志分析
当日志存储空间足够大且在服务有效期内，将从使用服务的第一天开始，连续存储180天的日志数据。第181天的日志数据，将覆盖第一天存储的日志数据，即始终保持存储最近180天的全量日志数据。重要 当您选购的日志存储空间占满后，将停止存储新...
云产品日志概述
日志服务支持采集弹性计算、存储服务、安全、数据库等多种阿里云云产品的日志数据，包括云产品的操作信息、运行状况、业务动态等信息。说明 日志服务支持通过日志审计服务自动跨账号采集日志的云产品覆盖基础（ActionTrail、容器服务...
使用MongoDB存储日志数据
本文以存储Web服务的访问日志为例，介绍如何使用MongoDB来存储、分析日志数据，让日志数据发挥最大的价值。本文的内容同样适用于其他的日志存储型应用。Web服务器日志 一个典型的Web服务器的访问日志类似如下，包含访问来源、用户、访问的...
集群自定义监控报表
io_write_time OB 日志盘平均每次写 IO 耗时 集群主机 ob_clog_io_byte OB 日志盘平均每秒 IO 数据量 集群主机 ob_clog_io_read_byte OB 日志盘每秒读 IO 数据量 集群主机 ob_clog_io_write_byte OB 日志盘每秒写 IO 数据量 集群主机 ob_...
分析网站日志
日志服务还支持通过自带的仪表盘、DataV、Grafana、Tableau（通过JDBC链接）、Quick BI等可视化方式创建多种场景下的日志数据分析大盘。功能体验 通过测试仪表盘体验查询分析功能。试用链接：仪表盘 通过数据实验室功能体验查询分析功能。...
打印UDF日志
说明 MaxCompute中处理的数据量一般较大，如果每一条数据都打印，则很快会到达数据打印上限，同时会占据大量的存储空间，此时您可以通过传入Flag的方式自由控制日志的打印。如果后续需要打印DEBUG日志，您可在MyUdf类的setup方法中自定义...
开启日志投递
当您确认不再需要保留日志数据时，可以按照如下步骤关闭实时日志查询。在 日志管理 页面，单击右侧的 关闭日志投递。在弹出的对话框中，单击 OK。相关操作 操作 说明 设置日志投递范围 在 日志管理 页签下，单击 设置日志投递范围，修改待...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
查看与分析API调用日志（公测）
数据服务提供日志分析功能，您可以使用日志分析功能对调用请求进行分析，当调用请求出现异常时，智能分析能帮助您快速定位问题，并给出诊断结果和建议。使用限制 仅DataWorks专业版及以上版本，支持使用智能分析功能。您目前可以免费体验，...
离线同步日志分析
运行日志入口详情请参见 查看周期实例、执行补数据并查看补数据实例、执行测试并查看测试实例。DataStudio界面 您可以在 运行历史 页面查看任务3天内的执行日志。查看离线同步日志 下图为任务的执行过程中的简单日志信息。您也可以单击图中...
查询节点实例容器日志
返回数据 名称 类型 示例值 描述 LogEnd Boolean true 日志是否结束：true：结束 false：不结束 LogEntrys Array of LogEntry 日志内容。LogEntry Content String 2018-11-19 17:55:11,792 INFO[RMCommunicator Allocator]org.apache....
使用前须知
功能介绍 您的业务在使用DCDN服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务进行存储和消费，以便快速监控和定位业务问题。资产详情 专属Project和Logstore 开启日志投递功能后，...
畅捷通
并发量大 几万个点并发发送数据，每天产生的各种日志与消息达到TB级。自建的ELK系统性能较差，优化性能需要耗费大量开发资源。类型杂 访问类、系统类、应用类、通知类、消息类等等，种类繁多、格式千奇百怪，为数据清洗增加了巨大的难度。...
使用前须知
海量：访问日志数据规模很大，处理访问日志需要考虑性能和成本问题。日志中心可自定配置预聚和功能，实时计算聚合指标，计算后的聚合结果可降低几个数量级，使查询速度大大提升。实时：秒级分析处理实时产生的日志。弹性：可任意设置日志...
备份大小
方法三：减少不必要的增删改，减少对大字段的更新 对数据库的增删改操作都会导致日志备份大小增加。说明 使用 SQL洞察 功能可以查看数据库的增删改查记录。关闭日志备份 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航...
管理审计日志
StarRocks将所有审计日志存储在本地文件 fe/log/fe.audit.log 中，并且这些日志无法通过系统内部数据库访问。启用审计日志功能将安装AuditLoader插件，该插件能够从本地文件中读取日志，并通过HTTP PUT方法将其导入StarRocks数据库，方便您...
管理日志
当您确认不再需要保留日志数据时，可以按照如下步骤关闭实时日志查询。在 日志管理 页面，单击右侧的 关闭日志投递。在弹出的对话框中，单击 OK。管理SLS Project 您可以在 日志管理 页面，单击右侧的 前往日志服务控制台，可以进入日志...
Jindo sql命令介绍
指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须每次使用分区表模式，否则文件会被归档到目录导致部分数据无法查询。JindoFS为存储在OSS上的OSS访问...
Jindo sql命令介绍
指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须每次使用分区表模式，否则文件会被归档到目录导致部分数据无法查询。JindoFS为存储在OSS上的OSS访问...
日志配置说明
E-MapReduce（简称EMR）支持在控制台查看或配置日志参数，也支持在命令行中设置参数。本文为您介绍ClickHouse服务的日志配置。前提条件 已创建OLAP集群，且选择了ClickHouse服务，详情请参见 创建ClickHouse集群。Clickhouse控制台日志配置...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。传统型负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。重要 99.9%的情况下，日志延迟不超过3分钟。弹性：您可按CLB实例级别开通或关闭访问日志功能，可任意...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
查询节点实例启动器日志
返回数据 名称 类型 示例值 描述 LogEnd Boolean false 日志是否结束。LogEntrys Array of LogEntry 日志内容。LogEntry Content String 2018-11-19 17:55:11,792 INFO[RMCommunicator Allocator]org.apache.hadoop.yarn.util.RackResolver...
备份大小
备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 实例列表>MySQL。找到目标实例，单击 操作 列的 详情。在 基本信息 页面右下角，查看备份大小。...
监控与日志
日志服务 云原生多模数据库 Lindorm 集成了阿里云日志服务SLS，您可以在Lindorm管理控制台开启审计日志功能，通过日志服务收集和处理云产品的操作信息、运行状态、业务动态等日志数据，并进行实时分析和投递，实现对日志的实时监控和审计。...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供...
采集-IoT/嵌入式日志
日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C Producer。嵌入式开发需求 作为IoT/嵌入式工程师，除了需要深厚的开发功底外，面对海量的设备，如何有能力管理、监控、诊断黑盒设备至关重要。嵌入式开发需求...
查询和分析日志
SQL增强 当您在使用SQL分析时，如果数据量较大，日志服务无法在一次查询中完整分析这个时间段内的所有日志。通过开启SQL独享版，增加计算资源，可以提升单次分析的数据量。更多信息，请参见 开启SQL独享版。Scan扫描 在某些场景下无法创建...
- 产品推荐
- 这些文档可能帮助您