基于GitHub公开事件数据集的离线实时一体化实践
该方案优势如下：离线链路稳定高效：支持数据小时级写入更新，可以批量处理大规模数据，进行复杂的计算和分析，降低计算成本，提高数据处理效率。实时链路成熟：支持实时写入、实时事件计算、实时分析，实时链路简化，数据秒级响应。统一...
采集-IoT/嵌入式日志
嵌入式开发需求主要有以下几点：数据采集：如何实时采集分散在全球各地的百万/千万级设备上的数据？调试：如何使用一套方案既满足线上数据采集又满足开发时的实时调试？线上诊断：某个线上设备出现错误，如何快速定位设备，查看引起该设备...
接入Go程序性能数据
最大Body大小 设置采集数据的最大采集Body大小，单位：KB。静态实例数组 添加实例信息，包括如下配置：主机：主机地址。端口：采集端口号。Labels：为实例添加标签。重要 请勿使用service作为标签。设置完成后，日志服务 将自动生成...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
接入Kubernetes Go程序性能数据
最大Body大小 设置采集数据的最大采集Body大小，单位：KB。K8s选择器配置 Namespace 输入匹配Namespace名称的正则表达式，用于指定待采集的命名空间。Pod名称 输入匹配Pod名称的正则表达式，用于指定待采集的Pod。容器名称 输入匹配容器...
使用DataWorks同步数据
本文以MaxCompute为例介绍如何将数据通过DataWorks同步至 云数据库ClickHouse。背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提...
采集-多渠道数据
本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较差 FTP、OSS上传、邮寄硬盘、SQL 数据导出 流式导入 实时，所见即所得，面向实时数据 收集端要求高 LogHub、HTTP...
数据库采集器问题
采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法执行完成），导致必须重新采集...
流式数据通道概述
场景 说明 特点 大量事件日志实时写入MaxCompute 日志采集数据直接写入MaxCompute进行批量处理。无需通过中间存储服务做中转，节约成本。流式计算结果实时写入MaxCompute 流式服务写入MaxCompute解除并发数及 batch size 的限制。解决高...
CDH Hive数据抽样采集器
运行：运行采集器，根据目标采集器的配置信息采集数据。运行后，识别出的敏感字段会展示在数据保护伞页面，当您在数据保护伞中配置脱敏规则后，命中的敏感字段在数据地图中预览时将会被脱敏。停止：停止运行中的采集器。后续步骤 CDH Hive...
使用Tunnel命令或Tunnel SDK
场景 说明 特点 大量事件日志实时写入MaxCompute 日志采集数据直接写入MaxCompute进行批量处理。无需通过中间存储服务做中转，节约成本。流式计算结果实时写入MaxCompute 流式服务写入MaxCompute解除并发数及 batch size 的限制。解决高...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
iOS SDK概述
采集崩溃数据、网络质量分析数据和Trace数据时必须要接入。OT协议库 OT OTel核心实现库。OT协议扩展库 OTSwift OTel Swift扩展库。采集崩溃数据 CrashReporter 崩溃数据自动采集库。更多信息，请参见 移动运维监控。采集卡顿数据 ...
Android SDK概述
采集崩溃数据、网络质量分析数据和Trace数据时必须要接入。OT协议库 sls-android-ot OTel核心实现库。OT协议扩展库 sls-android-ot-ktx OTel Kotlin扩展库，用于支持协程等特性。采集崩溃数据 sls-android-crashreporter 崩溃数据自动采集...
配置ClickHouse输出组件
批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程...
配置ClickHouse输出组件
批量插入字节大小、批量条数 批量插入字节大小 和 批量条数 均为数据同步的性能参数，用于调试数据同步的速度。批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程...
数据库评估常见问题
ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请重启采集或联系 ADAM 工作人员。画像内容，如何查看兼容度？ADAM 数据库画像主要内容是围绕着源 Oracle 信息，如果想查看目标数据库兼容性，请使用数据库画像创建数据库评估项目...
项目管理（新版）
创建项目 MaxCompute控制台创建的Project允许被各客户端使用，DataWorks提供统一的全链路大数据开发治理平台，紧密的集成MaxCompute，其工作空间标准模式不支持绑定存量MaxCompute项目。推荐您直接通过DataWorks创建MaxCompute项目并进行...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
导入云监控数据
如果数据量较大，1分钟无法完成导入，采集延迟将会超过1分钟。单个指标单次采集的数据点总大小 目前支持单个指标单次采集的数据点总大小最大为3 MB。超过该值，本次监控的所有数据点将被丢弃。您可以在 数据处理流量观测 仪表盘中查看数据...
表设计最佳实践
由于PC端、APP端采用不同的体系采集数据，所以通常需要按照终端设计多个明细DWD表。如果终端较多但数据量不大，例如，一个终端的数据量小于1 TB但采集次数较多，则可以不对终端进行分区，设置终端信息为普通列。说明 对日志表进行分区设计...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
SQL周期性采集
s（仅Oracle 12c需要提供此参数）：采集数据库实例名。c（必选）：cron表达式，用来指定采集的周期性。格式为：秒分时 日月周[年]。周期性采集会根据cron表达式配置的周期持续进行，为了帮助您理解，下面介绍一些常用的cron表达式示例。...
入门概述
数据采集器使用 Filebeat 轻量型日志采集器，用于转发和汇总日志与文件。参见以下文档，快速使用Filebeat。通过Filebeat采集Apache日志数据 Metricbeat 轻量型指标采集器，输送各种系统和服务统计数据。参见以下文档，快速使用Metricbeat。...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
DescribeDBClusterMonitor
调用DescribeDBClusterMonitor接口查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
DescribeDBClusterMonitor
调用DescribeDBClusterMonitor接口查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例...
Flink数据导入
Flink会接收实时数据，当接收到的数据行数达到最大写入行数后，再将数据批量写入 AnalyticDB MySQL版 集群。可选取值如下：0：最大行数为0时，批量写入数据功能仅考虑 sink.buffer-flush.interval 配置，即只要满足最大间隔时间就会开始...
A/B测试报表
目前数据采集数据产出暂时为T+1天，上传行为数据后第二天才能查看报表。数据对比以折线图的方式默认展现最近7天各个数据指标的变化。可通过日期控件选择展示指标的时间跨度。可通过点击图表中指标的icon勾选在图表中展示的指标项。查看方法...
使用流程
1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 基于以上操作，可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等，用户可根据数据库评估分析里 对象兼容度 详情和 SQL兼容度 详情，根据指导建议自助...
ADAM概览
数据库评估 提供目标库选型建议，对迁移工作量和成本进行预估。更多信息，请参见 数据库评估概览。源库画像分析:对数据库采集器采集到的源库数据进行多维度评估分析，包括源库的性能、容量、特性、外部依赖、对象详情和全景搜索。其中全景...
整体架构
支持各数据源的增全量数据批量写入：支持MaxCompute SQL以及其它一些接口，用于支持增全量数据高效的批量写入。计算引擎 主要包含MaxCompute自研的SQL引擎，负责Time travel和增量场景下的SQL DDL/DML/DQL的语法解析、优化和执行链路。数据...
设备协议
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
TSDB数据源
DataWorks数据集成支持使用TSDB Writer将数据点写入到阿里巴巴云原生多模数据库Lindorm TSDB数据库中，本文为您介绍DataWorks的TSDB数据写入能力。支持的版本 TSDB Writer目前仅支持Lindorm TSDB全部版本以及HiTSDB 2.4.x及以上版本，其他...
什么是智能众包
数据清洗 对非结构化数据进行清洗，或对算法输出结果进行校验、评分。数据分类：可支持对文本或图片的情感色彩、表述目的、语言内容做分类打标，主要应用场景包括评论内容中的垃圾广告监测、品牌的负面舆情监测。相关性评测：可支持多张...
服务器数据采集方案概述
相关文档 方案描述 阿里云Elasticsearch数据采集解决方案 本文提供Beats、Logstash、语言客户端和Kibana开发工具四种方法，您可以根据需求和环境，选择合适的方法或工具来采集数据。通过Filebeat采集Apache日志数据 您可以使用Filebeat采集...
DescribeDBClusterMonitor-查询集群监控数据采集频率
查询PolarDB集群的监控数据采集频率。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
- 产品推荐
- 这些文档可能帮助您