准备数据

在数据准备阶段,您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。...后续步骤 现在,您已经学习了如何通过数据同步采集数据,您可以继续下一个教程。在该教程中,您将学习如何对采集的数据进行计算与分析。详情请参见 加工数据。

订阅PolarDB MySQL版集群日志

配置日志采集同步授权。如果是同一账号下的日志采集,根据页面提示完成授权。具体操作请参见 首次配置。如果是跨账号日志采集,具体操作请参见 自定义鉴权管理模式。在 云产品接入>全局配置 页面,配置如下信息。在 中心项目Project所在...

组织系统配置

采集服务设置:若您通过阿里云 Quick Tracking 实现采集和上报用户行为事件数据,可以开启回流数据同步服务(默认关闭),将加工后的行为数据同步至ADB3.0数据库;开启采集日志同步服务(默认关闭),将数据采集日志同步至MaxCompute项目。...

采集数据

本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据,配置数据同步链路至私有OSS数据源,并通过EMR Hive节点建表去查询同步后的数据,完成数据同步的操作过程。前提条件 开始本文的操作前,请准备好需要使用的...

日志同步报警

若您购买了数据采集功能包,并在 组织系统配置 中配置了采集数据同步服务,系统将采集的日志数据加工成可用于分析筛选的行为数据,并将加工好的数据自动同步到用户指定的ADB3.0数据源中。若未成功同步数据到用户指定的数据源,则将在消息...

快速使用WAF日志服务

Web应用防火墙(Web Application Firewall,简称WAF)日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志,并对采集到的日志数据进行查询与分析,以丰富的仪表盘形式展示查询结果,满足等保合规要求和网站业务的防护...

快速使用WAF日志服务

Web应用防火墙(Web Application Firewall,简称WAF)日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志,并对采集到的日志数据进行查询与分析,以丰富的仪表盘形式展示查询结果,满足等保合规要求和网站业务的防护...

什么是Logtail

自动同步Logtail采集配置 您在日志服务控制台上新建或更新Logtail采集配置,一般情况下,Logtail在3分钟时间内即可接收并生效。更新过程中不会丢失日志数据。自我监控状态 Logtail会实时监控自身CPU和内存消耗,避免Logtail消耗您太多资源...

采集MySQL查询结果

本文介绍如何通过日志服务控制台创建Logtail采集配置来采集MySQL查询结果。前提条件 已在服务器上安装Linux Logtail 0.16.0及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作,请参见 安装Logtail(Linux系统)或 安装Logtail...

配置多账号采集

模式 方式 说明 资源目录管理模式 全员 日志审计服务自动将资源目录下的所有成员纳入到采集名单中,并采集这些成员中已开启日志采集功能的云产品的日志。新增资源目录成员后,该成员自动被纳入采集名单中。移除资源目录成员后,该成员自动...

常见问题及错误排查

具体操作,请参见 自定义授权日志采集同步。Permission denied,action:log:CreateApp,resource:app/audit 或 Permission denied,action:log:GetApp,resource:app/audit 使用RAM用户操作日志审计服务,权限不足。为RAM用户授权。具体操作...

日志应用

具体操作,请参见 自定义授权日志采集同步。冷热分层存储 日志审计服务的专属Logstore支持冷热分层存储功能。相对热存储而言,冷存储成本更低,其数据的查询与分析性能有所降低,其余功能(例如告警、可视化、加工、投递等)不受影响。更...

采集SQL Server查询结果

本文介绍如何通过日志服务控制台创建Logtail采集配置来采集SQL Server查询结果。前提条件 已在服务器上安装Linux Logtail 1.2.1及以上版本。更多信息,请参见 安装Logtail(Linux系统)。重要 请确保用于安装Logtail的服务器可连接目标数据...

使用前须知

具体操作,请参见 自定义授权日志采集同步。智能分层存储 日志审计服务的专属Logstore支持智能分层存储功能。相对热存储而言,低频存储和归档存储成本更低,其数据的查询与分析性能有所降低,其余功能(例如告警、可视化、加工、投递等)...

采集PostgreSQL查询结果

本文介绍如何通过日志服务控制台创建Logtail采集配置来采集PostgreSQL查询结果。前提条件 已在服务器上安装Linux Logtail 1.2.1及以上版本。更多信息,请参见 安装Logtail(Linux系统)。重要 请确保用于安装Logtail的服务器可连接目标数据...

使用Terraform配置日志审计服务

例如您只采集标签变量 env 完全匹配 test 的VPC实例,而不采集其他VPC实例,可以将采集策略设置为如下内容。accept tag.env="test"drop"*"因为采集策略为多行语句且存在特殊符号,例如双引号(")。在日志服务控制台中的日志审计服务中配置...

App端性能体验功能说明

特殊功能开关:部分高级功能需要打开开关才进行采集,开启开关后可以配置采样率 采样率配置:默认为100%,最高100%,在设备启动时判断此次PV是否采样,您可以根据自身情况调低采样率 注:安卓平台中OOM异常涵盖在崩溃分析中,如果您在SDK...

Android SDK

查看文档「第八步 功能模块配置」->8.1 崩溃分析 必选 集成且开关未关闭后自动采集,无需额外配置 查看文档「第八步 功能模块配置」->8.2 自定义异常接口 必选 上报自定义类型的崩溃上报 查看文档「第八步 功能模块配置」->8.3 卡顿分析 必...

采集数据

info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步,完成数仓数据采集操作...

采集数据

info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步,完成数仓数据采集操作...

WAF实例开启日志采集

应用场景 开启日志采集后,网站相关的日志数据会自动存储到WAF专属日志库,且支持查询与分析,满足审计要求。风险等级 默认风险等级:中风险。当您使用该规则时,可以按照实际需求变更风险等级。检测逻辑 已接入WAF进行防护的域名均已开启...

电商网站智能推荐

概述 本实践以电商网站为例,通过日志服务采集日志,将RDS作为后端数据服务、MaxCompute作为数据仓库,并通过DataWorks进行数据同步和处理,使用智能推荐产品搭建电商网站智能推荐系统。电商行业需要向用户推荐的物品包括物流信息、售卖...

什么是Quick Tracking

产品简介 全域采集与增长分析(Quick Tracking)是阿里云推出的企业级流量统计分析产品,提供APP/小程序/H5/Web/IoT等数字应用终端的行为采集分析、私域标签画像、性能体验监控、隐私采集授权管理等数据采集与洞察服务,助力企业实现全域数据...

新建数据采集接口

Quick Audience支持对接阿里云用户行为洞察分析平台 Quick Tracking,从App、小程序、Web页面采集用户行为数据,同步到指定的Quick Audience数据源,以便对这些数据进行进一步的分析运营,同时,支持将采集到的用户行为作为触发自动化营销...

功能概览

开启安全访问代理 同步元数据 采集数据库上最新的表、字段、索引、可编程对象等元数据信息,用于实现表、字段、可编程对象的权限分级管控。同步字典 导出 支持导出数据库、整库表结构、整库建表语句。数据库导出 版本管理 数据库版本列表...

需求分析

步骤四:汇总需求 阶段 操作对象 说明 数据采集阶段 ods_user_info_d 将MySQL中的用户数据ods_user_info_d同步至MaxCompute的ods_user_info_d表。ods_raw_log_d 将OSS中的网站访问日志user_log.txt同步至MaxCompute的ods_raw_log_d表。数据...

需求分析

步骤四:汇总需求 阶段 操作对象 说明 数据采集阶段 ods_user_info_d 将MySQL中的用户数据ods_user_info_d同步至MaxCompute的ods_user_info_d表。ods_raw_log_d 将OSS中的网站访问日志user_log.txt同步至MaxCompute的ods_raw_log_d表。数据...

埋点API

则会导致页面数据重复上报,产生冗余页面路径数据,可以在调用QtConfigure.preInit预初始化函数后紧接着调用 QtTrackAgent.disableActivityPageCollection()函数禁止SDK自动采集Activity页面路径数据。public static void ...

数据上云场景

MaxCompute平台提供了丰富的数据上传下载工具,可以广泛应用于各种数据上云的应用...日志采集 日志采集时,您可以选用Flume、Fluentd、Logstash等工具。具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。

实验介绍

步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块,将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute,并提交调度系统,结合DataWorks调度参数实现周期性增量同步。学习如下内容:如何将...

快速体验

步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块,将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute,并提交调度系统,结合DataWorks调度参数实现周期性增量同步。学习如下内容:如何将...

产品使用流程

本章节内容用于介绍产品业务流程,并提供...应用分析 行为分析 用户分析 数据同 步 您可以将SDK采集的数据同步至MaxCompute,结合自己的业务需求对数据进行加工、分析。同步MaxCompute 查看实时日志 查看数据采集的实时日志,参见 实时日志。

埋点API

2 设置设备ID&账号ID 2.1 设备ID设置 Web设备ID有 Quicktracking自动生成 和 开发者手动上传 两种方式,默认为 Quicktracking自动生成:自动生成:默认逻辑,网站的设备ID只有浏览器发生变化或用户主动清除cookie和缓存时,设备ID会发生...

概述

其中:日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能,...

文档修订记录

开放平台概览 2023年4月更新记录 时间 特性 类别 描述 产品文档 2023.4.23 新增功能 数据集成 数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute,为满足您业务增长对传输资源的更高要求,MaxCompute推出了独享...

功能特性

EIAM 云身份服务 功能集 功能 功能描述 参考文档 钉钉入方向 非敏感数据同步 同步除了手机号、邮箱等敏感字段之外的全部通讯录数据,可扫码配置 钉钉入方向同步 敏感数据同步 同步全部通讯录数据,需创建钉钉企业内部应用 钉钉入方向同步 ...

查询分析RocketMQ客户端日志

本文使用Beats、Elasticsearch、Logstash和Kibana,在分布式环境下采集、汇聚、解析阿里云RocketMQ客户端SDK日志,帮助您在消息队列开发场景中快速定位并解决应用开发问题。背景信息 阿里云Elasticsearch(简称ES)已具备Elastic Stack全栈...

审计配置

下述内容以RDS数据库为例,介绍原生日志采集模式下RDS和SLS产品产生相关费用的模式,其他类型数据库开启原生日志采集模式后存在类似计费,例如:RDS数据库开启原生日志采集模式后,DSC会自动为该数据库开启SQL洞察功能。SQL洞察产生的费用...

Logstash FAQ

Logstash私网地址默认禁止ping,可以使用telnet测试。Logstash在两个Elasticsearch之间同步数据,如何保证mapping一致?阿里云Elasticsearch为了保证用户操作数据的安全性,默认将 自动创建索引 配置设置为不允许。阿里云Logstash在传输...

概述

Web应用防火墙WAF(Web Application Firewall)日志服务帮助您采集并存储接入WAF防护的网站域名的Web访问和攻击的防护日志,基于阿里云日志服务,输出查询分析、统计图表、报警服务、下游计算对接与投递等功能,帮助您专注于分析,远离琐碎...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云虚拟主机 商标服务 视频点播 域名 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用