应用场景
风控监测系统 实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则...
常见问题
为什么实时同步任务延迟较大？实时同步任务延迟解决方案。实时同步任务为什么不建议使用公网？实时同步字段格式问题。实时同步数据时，如何处理TRUNCATE？如何提高实时同步的速度和性能？实时同步是否支持在界面运行？实时同步MySQL数据...
画像分析-RoaringBitmap优化方案
行为标签：主要描述用户行为特征，描述用户在某个时间做了一件什么事，比如用户店铺浏览购买行为、用户登录活跃行为等，数据变更频率高，通常需要进行范围扫描，聚合过滤。这类数据不适合进行Bitmap压缩，压缩比会很差，运算模式不适合...
消费-搭建监控系统
下游系统可以接入多重系统重复消费，比如导入Spark、Storm做实时计算，也可以导入elasticsearch做搜索，真正做到了一次收集，多次消费。在众多数据消费场景中，监控是最常见的一种场景。本文介绍阿里云基于日志服务的监控系统。日志服务把...
常见问题
您可以选择不使用系统默认的认证结果页，由您自己做，并在那里判断认证了几次就不允许继续认证。操作步骤如下：登录 实人认证管理控制台。在左侧导航栏，单击 接入设置 页面。在 实人认证 页签下，选择要操作的认证场景，为其勾选 不使用...
什么是推荐全链路深度定制开发平台PAI-REC
推荐系统是一个比较复杂的系统化工程，推荐系统分为离线、在线、实时数据链路和工程架构。推荐系统又分为召回、排序、过滤、重排等模块。PAI-REC的推荐模块和链路均依托于阿里云飞天大数据架构，开发者可结合企业技术栈、开发习惯等灵活...
SQL性能问题
通常对于聚合场景，微批处理可以显著地提升系统性能，建议开启。开启方式 MiniBatch默认关闭，您需要在目标作业的 部署详情 页签，运行参数配置 区域的 其他配置 中，填写以下代码。table.exec.mini-batch.enabled:true table.exec.mini-...
文档修订记录
新说明 Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库或Serving系统（HBase、Redis）统一在一个大数据计算引擎中，并提供快速的离线实时一体化分析能力。新用户免费...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
什么是ETL
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型。为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式 可视化处理编辑：ETL任务界面当前提供三种组件（输入/维表、转换...
流式ETL
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型。为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式 可视化处理编辑：ETL任务界面当前提供三种组件（输入/维表、转换...
应用场景
您可以实时收集网站活动数据（例如注册、登录、充值、支付、购买），根据业务数据类型将消息发布到不同的Topic，然后利用订阅消息的实时投递，将消息流用于实时处理、实时监控或者加载到Hadoop、MaxCompute等离线数据仓库系统进行离线处理...
快速入门
通过各个组件 及服务 的结合，阿里云Elasticsearch可以应用于实时日志处理、全文搜索和数据分析等领域。更多产品相关信息，请参见 什么是阿里云Elasticsearch。产品使用 Elasticsearch Elasticsearch作为实时分布式搜索和分析引擎，可以...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
事件驱动架构
什么是事件驱动架构 事件驱动架构是一种松耦合、分布式的驱动架构，收集到某应用产生的事件后实时对事件采取必要的处理后路由至下游系统，无需等待系统响应。使用 事件总线EventBridge 可以构建各种简单或复杂的事件驱动架构，以标准化的...
trace
SystemView 不但可以实时分析和展示数据，而且可以帮助用户进行系统调试和问题诊断，尤其是在开发和处理具有多个任务的复杂系统时。SystemView 由两个部分组成：SystemView 嵌入式端程序：用于记录嵌入式系统的行为，通过实时传输（Real ...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
召回引擎版介绍
增量流程是一个常驻任务，每一个索引表都会对应一个增量流程，可以通过控制增量流程各个节点的并发度来提高实时数据的处理能力。Processor Processor处理原始文档，主要包括分词或者根据业务逻辑对字段内容进行改写。Processor在增量流程中...
基于Flink的资讯场景实时数仓
场景描述 本文首先介绍什么是实时数仓以及相关技术架构，接着介绍资讯聚合类业务的典型场景及其业务目标，并据此设计了相应的技术架构。然后介绍如何部署基础环境和搭建实时数仓，并介绍业务系统如何使用实时数仓。解决的问题 通过 云消息...
实时UV精确去重（Flink+Hologres）
Hologres对Flink实时写入的数据实时处理。最终查询的数据对接上层数据应用，如数据服务、Quick BI等。实时UV计算方案流程 Flink与Hologres有着非常强的融合性，再结合Hologres天然支持的RoaringBitmap，完成实时UV计算，实时对用户标签去重...
应用场景
秒杀处理系统按照秒杀处理逻辑将满足秒杀条件的请求发送至 云消息队列 RocketMQ 版。下游的通知系统订阅 云消息队列 RocketMQ 版 的秒杀相关消息，再将秒杀成功的消息发送到相应用户。用户收到秒杀成功的通知。大规模机器的缓存同步 双十一...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
实时同步常见问题
为什么实时同步任务延迟较大？实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时同步数据时，如何处理TRUNCATE？如何提高实时同步的速度和性能？实时同步是否支持在界面运行？实时同步MySQL数据源时...
查看同步任务
数据同步目前仅支持at least once语义，在网络服务异常等小概率场景下可能会导致目的端的数据产生重复，需要做去重处理。DataConnector支持系统 目标系统 时效性 是否支持vpc 描述 MaxCompute（ODPS）准实时，通常情况5分钟延迟 No 同步...
实时数仓Hologres
背景信息 实时数仓Hologres 是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
媒体处理常见问题
媒体处理可以同时处理几个作业？每个用户都有默认的转码资源限制，转码资源分配给管道使用，各管道相互独立。每个管道同时处理的作业数量最多不超过分配给该管道的资源限额。详细说明请参见 使用限制。什么是转码资源？转码资源是媒体处理...
实时分析链路数据
如果您的应用遇到流量不均、单机故障、慢接口治理、业务流量统计、灰度发布监控等问题，可以通过应用监控的调用链分析快速定位问题代码。本文介绍如何通过调用链分析快速定位五种经典线上问题，更直观地了解调用链分析的用法与价值。背景...
向量检索版介绍
系统架构 在线系统 在用户视角中在线系统是按表维度进行划分，用户可以通过接口单独查询每张向量表的数据，也可以对每张表进行单独管理，比如设置表字段、设置向量索引，配置数据源，控制每张表的实时数据并发等等。后端的在线系统架构则是...
Hologres推荐的数仓分层
有实时需求，以分析为主，实时性满足分析时数据在业务场景具备实时含义，不追求数据产生到分析的秒级绝对值，但开发效率优先，推荐分钟级准实时方案，这个方案适合80%以上的实时数仓场景，平衡了时效性与开发效率，适合 实时数仓场景二：...
轨迹服务
时空数据的接入与实时计算 Lindorm Ganos时空数据类型同时也是Lindorm流引擎的原生数据类型，因此您也可以直接使用Lindorm流引擎的SQL语法处理实时计算任务。Lindorm Ganos时空引擎提供高性能的时空实时计算能力，支持在Lindorm流引擎中...
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
什么是实时数仓Hologres
本文为您介绍什么是实时数仓Hologres以及Hologres的功能。Hologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-Time Data Warehouse），支持海量数据实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议和语法，...
NAS监控概述
通过查看NAS文件系统的监控信息，您可以了解文件系统的使用情况。通过对文件系统的重要监控指标设置报警规则，您可以及时获知指标异常并快速处理异常。本文介绍NAS支持的监控项以及其报警规则说明。背景信息 云监控（CloudMonitor）是一项...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
接入 iOS
Live Activity 苹果官方文档 实时活动 通过实时活动显示实时数据 使用 ActivityKit 推送通知启动和更新实时活动 Live Activity 使用限制 只能在 iOS 16.1 版本以上的系统上运行。只支持 iPhone 设备，不支持 iPadOS，macOS，tvOS，watchOS...
政务舆情分析系统的数据库解决方案
背景信息 全网舆情分析系统，可以实现百亿条网页数据的存储、实时新增网页的抓取和存储，并能对新增网页做实时的元数据提取。有了提取结果，还需要进行进一步的挖掘分析，这些分析包括但不限于：舆情的影响力诊断：从传播量级和扩散趋势来...
购买指引-全托管
数据处理单元及调度资源 版本 数据处理单元规格 调度资源 智能研发版（离线&实时）、基础研发版（离线&实时）200 4CU（16个CPU Core+64GB）500 4CU（16个CPU Core+64GB）1000 8CU（32个CPU Core+128GB）1500 8CU（32个CPU Core+128GB）2000...
Kafka实时ETL同步至Hologres
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。本文为您介绍如何创建Kafka实时ETL同步至Hologres任务。使用...
- 产品推荐
- 这些文档可能帮助您