数据采集一般有两种方式,区别如下。本文档主要讨论通过LogHub流式导入(实时)采集数据。方式 优势 劣势 例子 批量导入 吞吐率大,面向历史存量数据 实时性较差 FTP、OSS上传、邮寄硬盘、SQL 数据导出 流式导入 实时,所见即所得,面向...
MaxCompute已被广泛应用于各大领域处理云上大数据,帮助众多企业解决了海量数据分析问题,同时降低企业运维成本,企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息,请参见 行业客户案例...
查询分析RocketMQ客户端日志 通过Elasticsearch和rsbeat实时分析Redis slowlog 服务器数据采集 服务器数据采集方案概述 阿里云Elasticsearch数据采集解决方案 通过自建Metricbeat收集系统指标信息 使用SkyWalking和Elasticsearch实现全链路...
678 服务器正在使用的SSL证书,没有通过正式的CA办法 系统错误码:12045。679 此计算机上未设置客户端授权 系统错误码:12046。680 请求的资源需要Fortezza身份验证 系统错误码:12054。681 由于安全检查,函数失败 系统错误码:12171。682...
应用场景 日志服务与审计场景 日志服务提供一站式数据采集、清洗、分析、可视化和告警功能。支持日志服务相关场景:DevOps、运营、安全、审计。典型日志审计场景 日志审计一般分成如下4层需求。基础需求:大部分中小企业客户需要自动化采集...
具体操作,请参见 数据采集。已开通目标Logtail配置所在Project的重要日志采集功能。具体操作,请参见 开通服务日志。背景信息 Logtail诊断包括高级版诊断和基础版诊断,具体说明如下:高级版诊断(推荐):提供异常诊断仪表盘,清晰展示...
方案设计 传感器数据采集上云解决方案如下图所示。数据链路为:测温器将物理信号转换成数字信息,组装成结构化数据,通过无线网络传输,采用MQTT协议接入阿里云物联网平台。物联网平台的规则引擎模块对原始数据进行过滤、富化、转换,实时...
基本概念说明 Logtail基本问题 日志采集Agent对比 心跳问题 Logtail机器组问题排查思路(主机场景)采集问题 通用场景 查询本地采集状态 如何查看Logtail采集错误信息 Logtail采集日志失败的排查思路 日志服务采集数据常见的错误类型 ...
您在使用Logtail采集日志时,可能遇到正则解析失败、文件路径不正确、流量超过Shard服务能力等错误。日志服务控制台提供诊断功能,支持诊断Logtail采集错误。操作步骤 登录 日志服务控制台。在Project列表区域,单击目标Project。在 日志...
新技术在创造新机遇带动产业升级的同时也带来了新的技术挑战,更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地,企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点。...
配置集群巡检 重要 使用集群巡检功能时,系统将在您的集群中执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。登录 容器计算...
配置集群巡检 重要 使用集群巡检功能时,系统将在您的集群中执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、Docker、kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。登录 容器...
C Producer 日志服务量身定制的日志数据采集解决方案。日志服务客户端Logtail在X86服务器上有百万级部署,可以参见文章:Logtail技术分享:多租户隔离技术+双十一实战效果,Polling+Inotify 组合下的日志保序采集方案。除此之外,日志服务...
配置集群巡检 重要 使用集群巡检功能时,系统将在您的集群中执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。登录 容器...
持久化存储消费位点 如果增量数据采集模块触发容灾机制(特别是SUBSCRIBE模式),新建的增量数据采集模块将无法保存客户端上次的消费位点信息,可能会导致客户端从一个较旧的位点开始消费订阅数据,从而造成历史数据的重复消费。...
持久化存储消费位点 如果增量数据采集模块触发容灾机制(特别是SUBSCRIBE模式),新建的增量数据采集模块将无法保存客户端上次的消费位点信息,可能会导致客户端从一个较旧的位点开始消费订阅数据,从而造成历史数据的重复消费。...
功能模块 说明 应用性能数据采集代理APM Agent 您可以根据系统默认提供的代理Agent及数据采集模板,进行数据收集;还可以使用与服务相同的语言编写的开源库,代理程序会结合应用程序收集性能指标和错误,最终将收集到的所有数据发送至...
资产说明 Logstore 开启数据采集功能后,日志服务默认在PolarDB MySQL集群所在地域创建一个名为 aliyun-product-data-阿里云账号ID-地域ID 的Project,名为 polardb_audit_log、polardb_log 的Logstore。polardb_audit_log Logstore用于...
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间:2024.01.30 优化 Golang插件指标数据和上报逻辑优化,指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间:...
重要 使用故障诊断功能时,系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本,以及负载、容器组件等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 Pod诊断...
重要 使用故障诊断功能时,系统将在您的集群执行数据采集程序并收集检查结果。采集的信息包括系统版本,以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常场景 ...
支持基于动态库(libnvml)的GPU采集,使数据采集更安全、更快速。说明 需手动开启动态库(即 nvidia.nvml.enabled=true),解决基于命令方式在某些系统下卡死的隐患。可用性探测的生效时间支持cron表达式。Prometheus采集支持通过...
本文介绍日志服务采集数据常见的错误类型及对应的解决方法。如果您遇到其他问题,请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常,或者是否...
如果遇到Logtail采集报错,请参见 如何查看Logtail采集错误信息、日志服务采集数据常见的错误类型。预览数据及创建索引,然后单击 下一步。日志服务默认开启全文索引。您也可以根据采集到的日志,手动创建字段索引,或者单击 自动生成索引...
本文所列的无线保镖错误码同时适用于 Android 及 iOS 操作系统。根据不同错误类型,下面将错误码分为以下三类:一般错误码 静态数据加解密错误码 安全签名接口错误码 如果发生错误,Xcode 的 console 中会打印“SG ERROR:xxxx”格式的错误...
可选:首次进入 Beats数据采集中心 页面,需要在服务授权对话框中查看提示信息,无误后单击 确认,授权系统创建服务关联角色。说明 Beats采集不同数据源中的数据时,依赖于服务关联角色以及角色规则。使用过程中请勿删除服务关联角色,否则...
本文介绍如何通过阿里云Metricbeat采集器收集系统数据(CPU使用率、内存、磁盘IO和网络IO统计数据)和Nginx服务数据,并生成可视化图表。前提条件 您已完成以下操作:创建阿里云Elasticsearch(简称ES)实例。详情请参见 创建阿里云...
如何检查和解决Windows挂载SMB协议文件系统返回系统错误53?如何检查和解决Windows挂载SMB协议文件系统返回系统错误58?如何检查和解决Windows挂载SMB协议文件系统返回系统错误64?如何检查和解决Windows挂载SMB协议文件系统返回系统错误67...
本文主要介绍通义听悟对接过程中常见的错误码、错误消息和解决办法。您可以优先在本文档查询错误码、错误消息,获取对应解决方案。调用API请求时常见错误码 HTTP status code 错误码 错误信息 描述 解决方案 500 ServerError Server error....
本文使用Beats、Elasticsearch、Logstash和Kibana,在分布式环境下采集、汇聚、解析阿里云RocketMQ客户端SDK日志,帮助您在消息队列开发场景中快速定位并解决应用开发问题。背景信息 阿里云Elasticsearch(简称ES)已具备Elastic Stack全栈...
在完成数据采集后,还需要有一套合适的系统进行转换、存储、处理、分析,满足多样的需求。数据问题主要包括:数据多样 各类系统数据:cpu、mem、net、disk等通用硬件指标,系统日志。业务黄金指标:延时、流量、错误、饱和度。业务访问日志...
采集参数:敏感数据类型 说明 信息字段详情 NO_DEVICE_DATA 不采集设备信息 包括:品牌(Build.BRAND)、型号(Build.MODEL)、屏幕分辨率、CPU信息(Build.CPU_ABI)、硬件名称(Build.HARDWARE)NO_OS_DATA 不采集系统信息 包括:语言、系统版本...
使用Logtail采集日志后,如果预览页面为空或查询页面无数据,您可以根据本文步骤进行排查。操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息,请参见 读取文件。如果下发Logtail配置后,日志文件无更新,则Logtail不会...
采集数据常见的错误类型请参见 日志服务采集数据常见的错误类型。默认情况下,一个日志文件只能匹配一个Logtail配置。如果同一份日志需要被采集多份,请参见 如何实现文件中的日志被采集多份。将企业内网服务器日志采集到日志服务,请参见 ...
采集参数:敏感数据类型 说明 信息字段详情 NO_DEVICE_DATA 不采集设备信息 包括:品牌(Build.BRAND)、型号(Build.MODEL)、屏幕分辨率、CPU信息(Build.CPU_ABI)、硬件名称(Build.HARDWARE)NO_OS_DATA 不采集系统信息 包括:语言、系统版本...
系统是从数据库内采集csvlog文件内容,然后保存到日志服务器后提供给您查看,如果需要调整数据库内csvlog文件的最大保留个数,您可以调整实例参数 rds_max_log_files。保留的csvlog文件个数越多,可以查询的时间越长,但是占用空间也会越大...
状态返回值 Code 说明 10000 SDK 采集数据成功 10001 SDK 未采集数据 10002 SDK 需要的基础权限未完全授权 10003 系统未知错误 10004 网络错误 10005 网络错误,返回内容为空串 10006 网络返回的格式非法 10007 服务端配置解析失败 10008 ...
如果设备使用AliOS Things 3.0版及以上系统,会自动检测和上报网络状态数据。上报的网络错误信息,请参见 设备网络状态 中 err_stats 的说明表格。操作步骤 登录 物联网平台控制台。在 实例概览 页面,选择目标环境,找到对应的实例,单击...
重要 使用故障诊断功能时,系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本,以及负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。诊断支持的异常...
解决方案 排查Rsyslog服务 登录无法采集到数据的ECS实例,检查Rsyslog服务的配置文件syslog.conf,文件内容如下。WorkDirectory/var/spool/rsyslog#where to place spool files$ActionQueueFileName fwdRule1#unique name prefix for spool...