开通日志实时查询功能
您在执行日志查询分析前，需先开通日志实时查询功能。本文介绍如何在OSS控制台上开通日志实时查询功能。前提条件 已创建OSS Bucket。具体操作，请参见 控制台创建存储空间。请确保日志服务Project和OSS Bucket在同一阿里云账号且在同一地域...
查看实时标签查询调用代码
Dataphin支持通过接口形式实时查询实体标签值。本文将指导您如何查看实时标签查询的调用代码。前提条件 创建标签离线服务关联的应用。具体操作，请参见 创建及管理应用。创建标签离线服务前您需先创建对应的实体。具体操作，请参见 创建...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
使用前须知
阿里云对象存储（OSS）联合日志服务推出OSS访问日志实时查询功能，帮助您完成OSS的操作审计、访问统计、异常事件回溯和问题定位等工作。本文介绍OSS日志实时查询功能相关的功能优势、资产详情、费用说明以及使用限制。重要 日志服务还联合...
阿里云实时数仓产品Hologres的应用场景
您可以通过Hologres实时查询并输出数据至第三方分析工具进行实时分析。典型应用场景如下：数据部门搭建 阿里云实时数仓产品、展示实时大屏和分析实时Reporting报表。运维和数据应用部门执行实时监控、实时异常检测预警与实时调试。业务部门...
查询MNS日志
阿里云消息服务（MNS）日志推送到日志服务后，可进行实时查询，本文介绍实时查询的常用场景及操作步骤，您也可以通过多个关键字组合方式实现更加复杂的查询。前提条件 已采集到MNS日志。具体操作，请参见 MNS日志。已配置索引。具体操作，...
号码百科的审计事件
DescribePhoneNumberAnalysis 号码分析实时查询。DescribePhoneNumberAnalysisConsole 号码分析实时查询。DescribePhoneNumberAttribute 号码归属查询。DescribePhoneNumberOperatorAttribute 号码归属查询（加密版）。...
轨迹服务
同时，平台也存在各种类型的时空查询需求，包括但不限于实时的圈选、出入监测和历史轨迹分析，并且由于查询类型的多样性，平台对实时查询性能的要求也更加严格。如何保存和处理这些实时数据，如何提升实时查询性能，成为平台需要面临的新...
新用户免费试用
实时查询性能强，刷新TPC-H的30000 GB世界纪录。融合湖仓查询，0 ETL导入离线MaxCompute数据。免费试用介绍 Hologres 5000 CU时，支持新您免费试用，试用过程可参考：免费试用。试用额度：计算资源5000 CU*H，存储资源20 GB。可试用台数：1...
产品优势
Hologres兼容PostgreSQL生态，支持快速查询分析MaxCompute的数据、实时查询实时写入的数据、联邦分析实时数据与离线数据，帮助您快速搭建企业实时数据仓库。Hologres专注实时数仓需求，从以下几个方面创新，提高数仓开发效率，降低应用门槛...
快速搭建实时数仓分析大屏
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
实时监控
查询实时请求命中率 查询实时字节命中率 查询实时状态码 注意事项 通过CDN/DCDN控制台（或者OpenAPI）的监控查询、用量查询（实际计费流量）功能查到的加速域名使用的流量数据与通过日志统计的流量数据有差异。通常来说，通过监控查询、...
开源Flink 1.10实时导入数据至Hologres
本文以一个示例为您演示开源Flink如何实时...成功启动任务后，您可以在Hologres中实时查询写入的数据。示例语句如下。select count(1)from order_details;select item_id,sum(price)as total from order_details group by item_id limit 10;
实时分析海量MaxCompute数据
本文为您介绍交互式分析Hologres如何实时查询海量MaxCompute数据，并以可视化方式分析和展现查询结果的最佳实践。前提条件 开通MaxCompute，详情请参见 开通MaxCompute。说明 请确保MaxCompute和Hologres的地域相同。开通Hologres并连接至...
Hologres结果表
Hologres实时查询数据。查询Hologres中用于接收数据的表，就可以实时获取到已写入的数据。示例查询SQL语句如下。select*from blink_test;如何使用宽表Merge/局部更新功能 对于常见的多个流的数据写入至一张Hologres宽表的场景，具体使用...
日志服务数据同步至Hologres
您可以将SLS的数据快速写入Hologres中，进行实时分析实时查询，提升业务对数据的探索能力。通过Flink将SLS数据写入Hologres 准备SLS数据。本次准备的SLS数据来源于SLS日志平台的模拟数据，模拟游戏登录和消费日志的数据。如果您有业务数据...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端...
Hologres推荐的数仓分层
Hologres通过表的形式直接对接上层应用，实现应用实时查询。方案优势：实时性强，能满足业务对实时性敏感的场景。指标修正简单，与传统增量计算方式不一样的是，该方案将中间的状态也持久存储在Hologres中，提升了后续分析的灵活性，当中间...
实时同步DataHub的数据至Hologres
您可以连接Hologres实例开发工具，实时查询同步至Hologres中的数据。Hologres连接详情，请参见 概述。执行以下示例查询语句。SELECT COUNT(*)FROM lineitem;常见问题 为您介绍在使用Hologres过程中的常见报错，以便于您能自行排查并解决...
对接DataV
您可以增加一个过滤条件host进行实时查询，使用如下语句。host:yunqi.aliyun.com |select approx_distinct(forward)as uv 需求第二次调整：在统计过程中，您发现Nginx访问日志forward字段存在多个IP，您默认只要第一个IP。使用如下语句。...
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
智能媒体生产的审计事件
ListLiveTranscodeTemplates 查询实时媒体转码模板列表。ListMediaBasicInfos 列出媒资基础信息。ListMediaInfoJobs 查询媒体信息任务列表。ListMediaProducingJobs 列出符合条件的合成任务。ListPageInfos 页面列表展示。ListPipelines ...
使用SQL管理外部项目
基于Hadoop外部数据源的外部项目操作 按照如下命令，查询Hadoop中Hive表数据。执行作业需要在普通项目下，不能是外部项目。use;访问阿里云E-MapReduce表必须设置，访问MaxCompute内部表不需要。set odps.sql.hive.compatible=true;指定写出...
概览
Hologres与Flink深度连通，支持实时写入Flink的数据，可以实时查询写入的数据，帮助您快速搭建实时数仓。形态说明 阿里云实时计算Flink版不进行业务存储，所有的数据均来自于外部存储系统持有的数据。阿里云实时计算Flink版支持的数据存储...
API概览
ListRealtimeLogDeliveryDomains 查询实时日志投递域名 调用ListRealtimeLogDeliveryDomains查询实时日志投递服务下所有域名。离线日志 离线日志 DescribeDomainCustomLogConfig 查询自定义日志配置-按域名 调用...
API概览
DescribeDcdnSLSRealTimeLogType 查询实时日志支持的业务类型 调用DescribeDcdnSLSRealTimeLogType查询实时日志支持的业务类型列表。ListDcdnRealTimeDeliveryProject 查询用户开通的项目信息 调用ListDcdnRealTimeDeliveryProject查询用户...
截图
查询截图任务详情 通过回调信息查询 通过接收 直播截图回调，查询 实时媒体 截图任务详情。更多信息，请参见 回调事件概述。通过OpenAPI查询 调用 GetLiveSnapshotJob 查询 实时媒体 截图 任务详情。获取 截图文件 当截图任务开始后，可以...
QPS限制
6000次/分钟 查询实时日志投递服务下所有直播域名 6000次/分钟 查询所有实时日志投递服务信息 6000次/分钟 删除实时日志推送的logstore 6000次/分钟 查询直播转推离线日志下载地址 100 查询直播指定域名离线日志 100 直播监播 API 描述 ...
文档修订记录
本文为您介绍如何根据业务查询场景设置合适的表属性，从而使查询在执行过程中扫描数据量更少、访问文件数更少、产生更少的I/O次数，进而使得查询更快、查询QPS更高。场景化建表调优指南 2023年5月 时间 特性 类别 描述 产品文档 2023.05.25...
录制
查询录制任务详情 通过回调信息查询 通过接收 直播文件生成 和 直播录制状态 的回调，查询 实时媒体 录制任务详情。更多信息，请参见 回调事件概述。通过OpenAPI查询 调用 GetLiveRecordJob 查询 实时媒体 录制 任务详情。查看 录制文件 当...
RDS实时同步至Hologres
查询实时数据 在Hologres中运行如下示例命令查询今日最活跃项目：SELECT repo_name,COUNT(*)AS events FROM hologres_dataset_github_event.hologres_github_event WHERE created_at>=CURRENT_DATE GROUP BY repo_name ORDER BY events ...
查询实时日志投递次数
调用DescribeLiveRealtimeDeliveryAcc查询实时日志投递次数。使用说明 可以统计实时日志投递次数信息。统计实时日志投递失败次数和实时日志投递成功次数。支持UID维度查询。收费次数包含投递成功和失败的全部次数。QPS限制 本接口的单用户...
Flink+Hologres实时数据大屏
查询实时数据 在Hologres中通过内部表查询今日最活跃项目。SELECT repo_name,COUNT(*)AS events FROM hologres_dataset_github_event.hologres_github_event WHERE created_at>=CURRENT_DATE GROUP BY repo_name ORDER BY events DESC ...
DataWorks的审计事件
GetDISyncTaskMetricInfo 查询实时任务增量Metric信息。GetDQCEntity 查询分区表达式信息。GetDQCFollower 查询订阅信息。GetDQCRule 查询规则详情。GetDutyRoster 查询值班表详情。GetEngine 查询引擎。GetExtension 查询开放平台扩展程序...
实时日志查询
支持实时查询和分析原始日志，并按照Bucket名称、Object名称、API操作、时间等条件过滤日志。注意事项 无地域属性的Bucket不支持实时日志查询。计费说明 当Logstore的计费模式为按使用功能计费时，如果OSS日志存储时间不超过7天，且当天...
内容分发网络CDN的审计事件
DescribeLiveStreamsFrameRateAndBitRateData 实时查询直播流帧率和码率数据。DescribeLiveStreamSnapshotInfo 查询一段时间内截图内容。DescribeLiveStreamsOnlineList 查看域名当前流信息。DescribeLiveStreamsPublishList 获取历史推流...
Impala概述
使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动程序等，为面向批处理或实时查询提供了一个熟悉且统一的平台。注意事项 ...
视频直播的审计事件
DescribeLiveStreamsFrameRateAndBitRateData 实时查询直播流帧率和码率数据。DescribeLiveStreamSnapshotInfo 查询一段时间内截图内容。DescribeLiveStreamsNotifyUrlConfig 查询推流回调配置。DescribeLiveStreamsOnlineList 查询指定...
简介
除了实时监控外，还可以进行实时时空查询，如查询某段时间的轨迹，某段时间进入该区域的车辆等。结合大数据分析框架（如Spark）还可以进行穿越分析、区域分布热力图等。智慧物流与外卖递送 在物流与外卖等领域，需要实时监控车辆、骑手的...
用户行为分析（UV）概述
查询时间需要更灵活，不仅局限于天、周、月、年等，还需要支持更细粒度实时更新查询。需要对用户数量精确去重。面对上诉高复杂度UV计算场景，业界常见的手段包括使用Apche Kylin等预计算系统或者Flink+MySQL的固定维度组合方案，但这些方案...
- 产品推荐
- 这些文档可能帮助您