常见问题
日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据？日志服务支持哪些数据接入方式？阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据存储在日志服务上？如果数据量突然激增，日志服务如何...
常见问题
日志服务可以做什么？日志服务能为用户带来哪些价值？日志服务支持采集哪些数据？日志服务支持哪些数据接入方式？阿里云会使用我在日志服务上存储的数据吗？阿里云是否会将自己的数据存储在日志服务上？如果数据量突然激增，日志服务如何...
功能使用常见问题
Q9:拿到SDK采集的数据后可以做什么？可以的应用场景如下：（1）BI个性化分析。（2）自定义报表加工。（3）自主挖掘数据，如：数据建模。Q10:集成SDK后多久能看到数据？今日实时及crash实时报表，当天实时可以看到数据；其他报表只能查看T-1...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
常见问题
RDS SQL洞察功能仅做日志保存，无完整的安全分析能力，该功能可以将RDS数据库中的日志采集并投递到日志服务，关于等保要求中的审计告警、审计报表、权责分离等要求无法覆盖。数据安全中心的审计功能可以专业、主动、实时监控数据库安全，...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
内网DNS日志
外部DNS，通常指的是您数据中心的内网DNS系统，通过PrivateZone解析器的功能，将来自VPC的域名解析请求，转发到您数据中心的DNS系统进行解析，从而实现阿里云VPC的ECS主机可以访问您数据中心的应用域名。4、递归到外部公网权威DNS上的公网...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
常见问题
为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响...
Tunnel命令常见问题
在系统的命令行执行窗口，您可以通过指定参数快速执行上传操作，上传数据至MaxCompute表的命令如下。\odpscmd\bin>odpscmd-e"tunnel upload"$FILE"project.table"更多命令行启动信息，请参见 使用本地客户端（odpscmd）连接。导入文件夹中...
快速入门
高级监控报警快速入门 应用性能监控分析服务（APM）APM是阿里云基于开源Elastic Stack构建的性能监控服务，支持一键快速创建APM Server节点实例，并采集处理应用性能数据，投递至阿里云Elasticsearch集群进行存储分析。APM快速入门.aliware...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
App端性能体验功能说明
特殊功能开关：部分高级功能需要打开开关才进行采集，开启开关后可以配置采样率 采样率配置：默认为100%，最高100%，在设备启动时判断此次PV是否采样，您可以根据自身情况调低采样率 注：安卓平台中OOM异常涵盖在崩溃分析中，如果您在SDK...
阿里云Elasticsearch数据采集解决方案
Metricbeat Metricbeat可以收集并预处理系统和服务指标数据。系统指标包括运行中的进程的相关信息，以及CPU、内存、磁盘、网络利用率等方面的数据。借助丰富的 模块，可以收集来自不同服务的数据，包括Kafka、Palo Alto Networks、Redis等...
应用采集
ADAM可以对Java JDK1.6及以上版本的应用提供采集功能，帮助客户评估分析需要改造的功能点，对于非Java应用暂不支持采集评估。应用采集概述 应用采集客户端...如有周期性任务，需在有这些任务运行时监控，否则数据采集不全。后续操作 采集部署
什么是Logtail
Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万服务器上的实时数据，日流量数十PB，并历经多次双十一挑战。相关性能指标，请参见 Logtail提升采集性能。相关技术分享，请参见 Logtail技术分享一 和 Logtail技术...
什么是ETL
行业领先的计算时效：通过DTS强大的数据库流式数据采集能力，ETL既能保障数据的准确性，同时还具备行业领先的计算实效性。灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作...
流式ETL
行业领先的计算时效：通过DTS强大的数据库流式数据采集能力，ETL既能保障数据的准确性，同时还具备行业领先的计算实效性。灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作...
实现原理
数据清洗：将采集得到的非结构化的数据，解析为监控系统可以处理的结构化信息。这部分解析能力需要是事先通过监控系统预设好的某种规则。例如，日志解析规则、Prometheus 协议规则等。举个例子，有业务日志样例如下，希望通过监控获取每一...
采集公网数据
0.12×100×30=360元 共计：4860元/月 对比结果 从以上两个场景可以看出，使用方案2进行公网数据采集，比方案1的成本低很多。除此之外，和方案1相比方案2还具有以下优势。弹性伸缩：MB-PB/Day间流量随意控制。丰富的权限控制：通过ACL控制...
什么是阿里云Logstash
在阿里云ELK（Elasticsearch、Logstash、Kibana）生态下，Elasticsearch作为实时分布式搜索和分析引擎，Logstash提供了数据采集、转换、优化和输出的能力，Kibana提供了强大的可视化界面，可以被广泛应用于实时日志处理、全文搜索和数据...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
常见问题索引
Q9:拿到SDK采集的数据后可以做什么？Q10:集成SDK后多久能看到数据？SDK集成常见问题 Q1：SDK log数据包的发送策略？Q2：SDK log数据包有多大？Q3：集成SDK后为什么没看到日志？Q4：SDK相关接口调用的顺序是否影响埋点？Q5：日志中有哪些...
应用场景
数据处理 在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。与传统架构不同，云消息队列 Kafka ...
使用SDK示例代码消费订阅数据
持久化存储消费位点 如果增量数据采集模块触发容灾机制（特别是SUBSCRIBE模式），新建的增量数据采集模块将无法保存客户端上次的消费位点信息，可能会导致客户端从一个较旧的位点开始消费订阅数据，从而造成历史数据的重复消费。...
数据采集2.0
注意事项 数据采集功能会在实例应用创建完成后自动开通 数据，目前主要指终端用户对搜索结果的行为反馈数据 采集，目前主要指通过开放搜索SDK上报搜索行为数据（Server端），App端、Web暂不支持，敬请期待 数据采集2.0相较于老的数据采集...
采集-IoT/嵌入式日志
日志服务团队结合IoT设备的特点，为IoT设备量身定制一套日志数据采集方案：C Producer。嵌入式开发需求 作为IoT/嵌入式工程师，除了需要深厚的开发功底外，面对海量的设备，如何有能力管理、监控、诊断黑盒设备至关重要。嵌入式开发需求...
服务器数据采集方案概述
针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案进行了汇总。相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
C100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 配置数据库审计实例 登录数据库审计系统 管理数据库资产 安装Agent 如果您想配置审计规则和告警通知，更多信息，请参见 C100快速入门。如何将跨地域、跨...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
采集-多渠道数据
数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较差 FTP、OSS上传、邮寄硬盘、SQL 数据导出 流式导入 实时，所见即所得，面向...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
流式数据通道概述
提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据做进一步处理，已经支持数据聚合（Merge）：提升存储效率。应用场景 MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量事件日志实时写入...
资产全景
数据经采集、集成、加工等流程处理完成后，可以在数据资产模块进行系统化管理。本文为您介绍数据资产全景的全局、流动和结构化模式。资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局...
资产全景
数据经采集、集成、加工等流程处理完成后，可以在数据资产模块进行系统化管理。本文为您介绍数据资产全景的全局、流动和结构化模式。资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
- 产品推荐
- 这些文档可能帮助您