TS
例如temperature:1、pressure:1、distance:1等，可通过TairTS自带的 EXTS.S.MRANGE 命令轻松获取设备ID为1的自定义监控信息，而使用RedisTimeSeries则需要在业务逻辑代码中嵌入大量数据聚合运算才能实现该功能。图 1.TairTS与RedisTS数据...
典型使用场景
数据查询分析 AnalyticDB PostgreSQL版 既通过索引排序等特性支持高并发低延时的多维度点查范围查场景，也通过向量化引擎，CBO优化器，列式存储支持大数据量多表关联聚合的复杂分析场景。例如，数据类业务应用对ADS层数据进行快速查询；...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
采集-IoT/嵌入式日志
配置如下：C Producer配置 ARM（树莓派）缓存：10 MB 聚合时间：3秒（聚合时间、聚合数据包大小、聚合日志数任一满足即打包发送）聚合数据包大小：1 MB 聚合日志数：1000 发送线程：1 自定义tag：5 X86 缓存：10MB 聚合时间：3秒（聚合时间...
支持服务关联角色的云服务
本文为您介绍支持RAM服务关联角色的阿里云服务，方便您查询和使用。云服务 云服务标识 服务关联角色 相关文档 资源管理 resourcemanager.aliyuncs.com AliyunServiceRoleForResourceDirectory 资源目录中的RAM角色 rmc.resourcemanager....
JindoFS实战演示
Flume高效写入OSS Flume高效写入OSS 2021-06-01 Flume是一个分布式、可靠、高可用的系统，支持从不同数据源高效地收集、聚合、迁移大量日志数据，聚合到中心化的数据存储服务，被广泛用于日志收集场景中。由于OSS本身不支持Flush功能，而...
数据聚合
本文为您介绍数据聚合组件。功能说明 数据聚合组件可以根据指定的索引，将相同索引的数据进行聚合处理。聚合的方法包括：均值、最大值、最小值、中位数、标准差、方差、求和。计算逻辑原理 均值：取分组聚合中的均值。最大值：取分组聚合中...
配置数据聚合
您可以将数据聚合节点类比为Flink SQL的窗口函数，该节点的作用是将解析任务中流转的消息按照窗口进行聚合计算。通过该节点聚合生成多样化的数据，可用于后续分析或输出。使用说明 目前支持的Flink SQL的窗口函数规则为滚动时间窗口...
构建模型
您可以选择数据表关联数据表、数据表关联SQL代码创建表、SQL代码创建表关联数据表和SQL代码创建表关联SQL代码创建表。说明 SQL代码的编辑操作请参见 自定义SQL。数据表关联数据表 在数据集编辑页面，按照下图步骤，拖拽数据表至画布中。...
数据探查
数据输入、合并、清洗加工、聚合和关联节点支持数据探查。本文为您介绍数据探查的操作。入口 您可以通过图示的方式进入数据探查界面。说明 合并、清洗加工、聚合和关联节点进入 数据探查 的方式同上。预览设置 数据探查支持快速采样、随机...
查询对象
简介 查询对象操作可用于查询指定条件下的数据库实体数据或当前逻辑流执行环境中指定对象的关联数据。配置属性 查询对象操作属性由以下部分组成，逻辑流通用属性部分请参考 逻辑流操作通用属性：基础属性 示例 说明 资源 用于指定查询对象...
偏分析场景的实践和优化
设计为分区表或者广播表 广播表会在集群的每个数据节点都存储一份数据，建议广播表的数据量不宜太大，每张广播表存储的数据不超过20万行，这样在大表和广播表做关联时，可以计算下推，让关联贴近数据层做计算，避免大表数据拉取到计算节点...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
使用场景
数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表、统计分析等。实时数据处理 DMS任务编排可以设置定时任务，实现对实时数据的处理和分析。业务流程自动化 结合DMS任务编排的调度和依赖管理功能，...
设置关联数据源及其启停状态
本文介绍关联数据源和设置数据源启停状态的具体操作。前提条件 已添加数据源。具体操作，请参见 添加待流转的数据源。已添加数据目的。具体操作，请参见 添加转发到的数据目的。更新数据目的关联的数据源 进入孪生空间页面。具体操作，请...
关联选择器
间距 数据 选择数据 关联选择器 组件需要配置目标数据和关联。通常将其绑定数据实体的一个 多对一 或 一对一 关联。关于此部分属性的更多信息，请参见 数据。可选集 选择可选集 关联选择器 组件需要配置可选集数据源。通常需要绑定与上述...
数据准备
数据准备（轻量ETL）可以将数据源表中的数据进行清洗、聚合、关联和合并等操作，并将加工后的数据输出，让不会写SQL代码的业务人员能够低成本完成BI可视化数据的准备。详细功能介绍如下。
通过OpenTelemetry接入ARMS
OpenTelemetry Trace使用指南 为了更好的发挥OpenTelemetry Trace数据价值，ARMS提供了链路详情、预聚合大盘、Trace Explorer后聚合分析、调用链路关联业务日志等多种诊断能力。链路详情 在链路详情面板左侧可以查看链路的接口调用次序与...
数据同步流程
适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权...
数据集组合
背景介绍 数据集组合 和 数据集关联 的区别：数据集关联：先关联数据，再进行聚合。当您的多张数据表关联性很强，在许多业务场景中都需要关联在一起进行数据分析时，建议您在数据集模块中使用关联功能进行处理，关联得到的数据集可以在不同...
引擎简介
云原生多模数据库 Lindorm 时序引擎是一款 高性能、低成本、稳定可靠 的在线时序数据库引擎服务，提供高效读写、高压缩比存储、时序数据聚合计算、数据库内机器学习等能力。核心能力 高性能：时序引擎支持高写入吞吐，通过自研的时序引擎，...
可观测性能力
同时，云原生内存数据库Tair 还基于三大数据支柱进行信息聚合，提供数据分析能力，下表为 云原生内存数据库Tair、云数据库Redis与原生Redis的可观测性能力对比。为便于浏览和内容表达，表格约定使用下述注释：✔️表示支持。❌表示不支持。...
可观测性能力介绍
同时，云数据库Redis版 还基于三大数据支柱进行信息聚合，提供数据分析能力，下表为云数据库Redis与原生Redis的可观测性能力对比。为便于浏览和内容表达，表格约定使用下述注释：✔️表示支持。❌表示不支持。➖表示不涉及。可观测性能力 ...
窗口聚合
在需要将某一段时间内的数据聚合时，可以使用窗口聚合组件。聚合的方法包括：均值、最大值、最小值、中位数、标准差、方差、求和。若窗口内无数值，聚合后会产生空值。计算逻辑原理 均值：取分组窗口中的均值。最大值：取分组窗口中的最大...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
数据科学计算概述
为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...
关联和管理依赖数据源
本文介绍如何关联和管理关联数据源。关联和管理数据源 关联数据源 在 应用列表 页面，单击目标轻应用名称。在目标轻应用导航栏中，选择 服务管理>依赖数据源。在 依赖数据源 页面，单击 关联数据源。在 关联数据源 面板，选择目标数据源，...
查看指标资产详情
关联信息 单击 关联信息，展示与指标有关联数据表和API关联信息。在 数据表 页面，展示数据的名称、字段等信息，同时，单击数据表名称可跳转至数据表资产页面。在 API 页面，展示API名称和返回参数等信息，同时，单击API名称可跳转至API...
查看指标资产详情
关联信息 单击 关联信息，展示与指标有关联数据表和API关联信息。在 数据表 页面，展示数据的名称、字段等信息，同时，单击数据表名称可跳转至数据表资产页面。在 API 页面，展示API名称和返回参数等信息，同时，单击API名称可跳转至API...
集成与开发概览
开发：实时报表、日志分析、离线宽表、T+1数据快照、数据聚合、数据清洗、数据脱敏等。数据开发 数据库开发：跨库开发、定时任务、数据归档、数据迁移、报表开发等。数仓开发：数据入仓、数据清洗、数据加工、数据分层、报表开发、宽表开发...
关联数据
关联数据将一些具有相同或类似属性的资源划分到一个组内，方便您对这些资源进行批量设置。数据库审计支持管理IP组、数据库账号组、应用用户组、时间组和对象组以及人员。本文介绍如何使用关联数据功能。背景信息 在 关联数据 页面定义了...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
Trino概述
应用场景 Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Trino是一个数仓类产品，因为其对事务支持有限，所以不适合在线业务...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
自动同步PolarDB-X元数据
多数据源关联分析：需要把PolarDB-X 2.0的数据和其它数据源数据关联分析。多PolarDB-X 2.0实例数据分析：对多个PolarDB-X 2.0中的数据进行关联分析。注意事项 同步数据时，会在 湖仓版（3.0）集群中创建与PolarDB-X 2.0实例中数据库和表...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
Presto概述
应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Presto是一个数仓类产品，因为其对事务支持有限，所以不适合在线...
新建数据元
例如：我们把“教育水平”作为数据元，数据元关联数据字典，字典的值域设置为：“研究生”、“本科”、”高中“、”小学“等。用“教育水平”这个数据元来统一描述人的受教育程度或者文化水平等类似的概念。操作步骤 登录 数据资源平台控制...
- 产品推荐
- 这些文档可能帮助您