采集客户端数据的高可用方案
背景 在单集群环境下，日志服务存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群的不同机器中。通过该机制，存储系统确保3个数据副本分布在不同服务器的不同物理磁盘上，单个硬件...
查看设备网络状态
背景信息 设备上报网络状态数据的Topic、Alink数据格式和上报的错误信息，请参见 设备网络状态。如果设备使用AliOS Things 3.0版及以上系统，会自动检测和上报网络状态数据。上报的网络错误信息，请参见 设备网络状态 中 err_stats 的说明...
采集Beats和Logstash数据源
本文以使用PacketBeat软件采集本地网络数据包，并使用Logtail Lumberjack插件上传到日志服务为例，进行说明。配置PacketBeat输出方式为 Logstash，示例如下所示。output.logstash:hosts:["127.0.0.1:5044"]背景信息 基于Logstash、Beats...
iOS SDK概述
日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
Android SDK概述
日志服务Android SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务Android SDK方便地采集...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接入数据。
通过接入中心接入数据
ECS（VPC）环境：对于ECS主机下的各类数据采集，由于大多数情况下需要通过网络进行数据拉取，因此一个VPC对应一个环境。ARMS优先通过网络的形式采集数据，尽可能降低安装到ECS中的探针数量。云服务环境：对于常规云服务数据的采集，云服务...
通过接入中心接入数据
ECS（VPC）环境：对于ECS主机下的各类数据采集，由于大多数情况下需要通过网络进行数据拉取，因此一个VPC对应一个环境。ARMS优先通过网络的形式采集数据，尽可能降低安装到ECS中的探针数量。云服务环境：对于常规云服务数据的采集，云服务...
概述
方案设计 传感器数据采集上云解决方案如下图所示。数据链路为：测温器将物理信号转换成数字信息，组装成结构化数据，通过无线网络传输，采用MQTT协议接入阿里云物联网平台。物联网平台的规则引擎模块对原始数据进行过滤、富化、转换，实时...
开启控制平面日志和日志告警功能
本文介绍如何在服务网格ASM控制台中配置控制平面日志采集和告警，将日志推送到日志服务的LogStore中进行存储、查询分析并配置日志告警。前提条件 阿里云账号已开通阿里云日志服务SLS。具体操作，请参见 开通日志服务。重要 将日志采集到ASM...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
基础监控
应用托管到 Serverless 应用引擎 SAE（Serverless App Engine）后，SAE 对应用所运行设备的CPU、负载、内存、网络和磁盘进行数据采集与分析，并以动态图的方式展示，方便您实时、直观地了解应用所运行设备的状态。所有监控均以应用为单位...
使用前须知
真实终端网络分析 从真实终端用户采集的网络质量数据，客观还原边缘终端用户网络状况。支持主流探测协议 支持常见的HTTP、MTR、TCPPING、PING等网络探测协议，满足日志采集需求。资产说明 所有资产都在您选择的Project下，Project下的...
元数据采集
如果数据源未开启白名单限制，请参考 资源组操作及网络连通 文档进行数据源网络打通。采集计划 包括 手动采集、每月、每周、每天 及 每小时。根据不同的执行周期，生成不同的执行计划，在相应执行计划的时间内，对目标数据源进行元数据采集...
采集-多渠道数据
不同网络环境下的数据采集 LogHub在各Region提供访问点，每个Region提供三种方式接入：内网（经典网络）：本Region内服务访问，带宽链路质量好（推荐）。公网（经典网络）：可以被任意访问，访问速度取决于链路质量、传输安全保障建议使用...
审计配置
流量采集（Agent）RDS、PolarDB、自建数据库 通过在应用服务器或数据库服务器中部署Agent，并配置网络连接来打通数据采集链路。Agent将日志流量转发给 DSC 审计服务器完成日志采集。重要 该审计模式会消耗服务器的一些CPU、内存、网络带宽...
沙盒网络
同时日志服务根据不同业务环境支持内网+VPC、公网+全球加速等多种数据传输方式，能够很好地适应沙盒网络全球化的业务数据采集场景。在多元化数据统一管理方面，日志服务提供可托管、高可用、可扩展的数据加工服务，广泛适用于数据的规整、...
Logtail限制说明
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
Logtail
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
使用网络质量分析器
日志服务会根据采集到的网络探测数据，自动进行分析，生成对应的数据报表。查看数据 在 接入端管理 页面的应用列表中，单击目标接入端应用对应的 图标。在 应用详情 面板中，单击目标Logstore。在目标Logstore中，查看网络探测数据。网络...
前置操作
日志审计服务支持采集存储、网络、数据库等云产品日志。采集完成后，会自动存储至对应的 Logstore 或 Metricstore 中。前提条件 已注册阿里云账号。建议您使用阿里云 RAM 用户，并为 RAM 用户授予全部管理权限（AliyunLogFullAccess 和 ...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
DescribeDataCollction-DescribeDataCollection
2 开通成功 3 开通失败 2 updated integer 更新时间 1581065904 name string 数据采集名称 os_function_test_v1 sundialId string sundial 的 ID 1755 id string 数据采集 ID 286 示例 正常返回示例 JSON 格式 {"requestId":"72FAD77B-83F9...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
设备网络状态
使用Wi-Fi接入网络的设备可以主动将网络状态信息和网络错误数据，通过指定Topic上报至云端。下面介绍设备上报网络状态的Topic、数据格式和网络错误数据说明。说明 如果设备使用AliOS Things 3.0版及以上系统，会自动检测和上报网络状态数据...
快速入门
Logstash快速入门 Beats Beats是轻量级的数据采集工具，支持一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的，具备采集、监控、...
SQL周期性采集
在Linux 环境下执行.sh，本文以Linux环境介绍如何进行数据采集）。Oracle 10g、11g sh collect_10g_cycle.sh –h<ip>-u<username>-p<password>-d<service_name>-c<cron>sh collect_11g_cycle.sh –h<ip>-u<username>-p<password>-d...
数据库采集
下载采集器：如果源库不能对外使用公网，或者无法从云上去访问，可以通过ADAM数据采集器采集数据库。更多信息，请参见 采集器采集。在线采集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM）>数据库...
入门概述
Beats是轻量型的数据采集工具，阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat采集器。本文介绍如何通过使用场景选择对应的采集器，并完成数据采集。数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与...
A/B测试报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
数据采集概述
日志服务支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。本文列举了日志服务所支持的数据来源。数据来源 日志服务支持的数据来源如下：类别 来源 接入方式 更多 应用 程序输出 Logtail 查询分析...
业务运营报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
设备协议
数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的方案能够被设备识别。其中：数据转化协议和数据采集协议可以有绑定关系，但是并不强制。一个数据采集协议可以有...
管理问题数据
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储与MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
数据采集
时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务时序数据 在服务级别根据进程的角色不同，对各类时序数据进行了采集。业务相关的时序数据主要包括：QPS、...
ListDataCollections-ListDataCollections
获取OpenSearch应用的数据采集清单。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v4/openapi/app...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
教程概述
数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。数据展示：通过DataV大屏，对数据进行处理并展示。
环境分类说明
ECS（VPC）环境 在阿里云 ECS 主机的数据采集中，由于数据拉取多数情况下依赖网络传输，通常建议将一个 VPC 设定为一个单独的监控环境。ARMS 会优先通过网络方式收集指标数据，旨在最大程度减少您 ECS 主机上需要安装的探针数量。需要在 ...
- 产品推荐
- 这些文档可能帮助您