快速玩转Tablestore入门与实战

通道服务:表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake(快速开始)架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus:云上大...

什么是阿里云Elasticsearch

Beats数据采集中心 Beats是轻量级的数据采集工具,集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...

快速入门

Logstash快速入门 Beats Beats是轻量级的数据采集工具,支持一键部署采集器,可视化采集与配置日志文件、网络数据、容器指标等多种类型数据,并集中管理多个采集器。Beats快速入门 高级监控报警 基于Elasticsearch开发的,具备采集、监控、...

JindoFS块存储模式

应用场景 E-MapReduce目前提供了三种大数据存储系统,E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS,其中OssFileSystem和JindoFS都是云上存储的解决方案,下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...

行业趋势与背景

在这种需求下,大规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库,融合分布式SQL引擎DRDS与分布式自研存储X-DB,基于云原生一体化...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

图扑案例

对于需要实时采集海量数据的生产线、风电厂和智能交通态势感知数据的场景,为了实现实时数据采集存储、索引和聚合,原存储方案中采用了ElasticSearch、Prometheus、Hbase分别存储从现场传感器、第三方系统和用户终端设备采集的时序指标、...

OSS/OSS-HDFS概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括 JindoFS 存储系统(原JindoFS Block模式)...

JindoData版本说明

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...

产品简介

基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如PolarDB、Lindorm(HBase)、OSS等,通过统一的时空数据模型与计算接口,实现对多源异构数据的一体化管理与计算,并支持进行...

外部表概述

MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储,直接对外部数据进行操作,从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...

基本概念

Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...

基本概念

Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...

A/B测试报表

在翻页或者加载的过程中,如果结果重复出现在第二页算一个新的曝光PV,结果不去重 如果开通数据采集功能并上传了曝光数据,则每次曝光记1否则,记每次返回的Item数 依赖开通数据采集功能,并且上传了用户曝光行为数据/也可不开通或上传,但...

集群配置

本文介绍 可观测链路 OpenTelemetry 版 的集群配置,您可以在该页面进行数据采集启停、存储周期调整等操作。采集配置 您可以启停 可观测链路 OpenTelemetry 版 链路实例,配置后将影响所选地域所有数据的采集上报。全部开启:接收该地区...

低频介质

据统计分析,大部分用户文件系统中80%的数据均为冷数据,按80/20定律进行成本估算,使用低频介质存储后,原通用性能型NAS文件系统的有效存储成本可降低至0.49元/月/GiB,原通用高级型NAS文件系统的有效存储成本可降低至0.29元/GiB/月,原...

业务运营报表

在翻页或者加载的过程中,如果结果重复出现在第二页算一个新的曝光PV,结果不去重 如果开通数据采集功能并上传了曝光数据,则每次曝光记1否则,记每次返回的Item数 依赖开通数据采集功能,并且上传了用户曝光行为数据/也可不开通或上传,但...

设备协议

设备协议模块可创建的协议以及各协议的功能如下:设备采集协议:将设备数据自动推送到云控平台数据采集端口。数据转化协议:将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据(控制)下发协议:使交通云控平台下发的...

应用场景

日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算(ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括...

数据存储生命周期管理

本文介绍存储保存时间迁移策略。生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储,当数据的存储时间超过配置的 热存储层数据保存 时间后,数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储,当...

什么是智能众包

人工智能众包(AI Crowdsourcing)基于共享人力资源模式,为人工智能算法提供数据采集、清洗、标注等服务,帮助企业快速构建算法数据集。人工智能众包(AI Crowdsourcing)基于共享人力资源模式,为人工智能算法提供数据采集、清洗、标注等...

X-Engine简介

通常存储系统数据访问都有局部性,大量的访问都集中在少部分数据上,这也是缓存系统能有效工作的基本前提。在LSM存储结构中,如果把访问频率高的数据尽可能放在较高的层次上,存放在快速存储设备中(例如NVM、DRAM),而把访问频率低的...

教程概述

数据采集:通过阿里云DTS的数据同步功能,将RDS中的数据同步到DataHub中,完成数据采集。数据订阅:通过阿里云实时计算Flink,订阅DataHub数据进行实时计算,插入到RDS实例的目标表中。数据展示:通过DataV大屏,对数据进行处理并展示。

iOS SDK概述

日志服务iOS SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务iOS SDK方便地采集iOS日志。...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息,请参见 通过Unity Plugin接入数据。

计费常见问题

据统计分析,大部分用户文件系统中80%的数据均为冷数据,按80/20定律进行成本估算,使用低频介质存储后,原性能型NAS文件系统的有效存储成本可降低至0.49元/月/GiB,原容量型NAS文件系统的有效存储成本可降低至0.19元/GiB/月。购买了资源包...

开启智能存储分层

重要 存储保存时间配置存在相应限制,具体信息,请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域,单击目标Project。在 日志存储>日志库 页签中,单击目标Logstore对应的 图标,然后单击 修改。在 ...

CDH Hive数据抽样采集

您可以通过DataWorks的数据抽样采集器功能,从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则,那么在数据地图表详情页面进行数据预览时,命中的敏感字段将会被脱敏。本文为您介绍...

Android SDK概述

日志服务Android SDK封装了日志服务的日志采集相关API接口。您可以通过日志服务Android SDK方便地采集...采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息,请参见 通过Unity Plugin接入数据。

产品架构

分布式链路跟踪产品总体架构如下图所示:Trace 数据采集通道 目前支持 3 种数据的采集通道,分别是阿里云底座的 SLS 通道,Antstack 底座的 ALS 通道,以及应用主动上报的通道。前两种是基于 Trace 日志收集的方式,后一种是 Trace 数据...

服务端埋点验证

1 打开埋点验证 打开产品首页,点击顶部导航“数据采集”进入数据采集模块,点击顶部导航“埋点验证”在埋点验证模块内,选择“服务端验证”2 生成DebugKey 3 将DebugKey设置在代码中 将第2步生成的DebugKey配置在上报的日志中,注意代码...

V3.3.41版本说明

V3.3.41中,自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件,智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐,此外,还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...

冷热分离介绍

Lindorm宽表引擎的冷热分离功能可以将冷热数据分别存储在不同的介质上,有效降低了数据存储成本。同时,通过定期将数据迁移至冷存储介质,降低了查询基数,提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在...

通过接入中心接入数据

ECS(VPC)环境:对于ECS主机下的各类数据采集,由于大多数情况下需要通过网络进行数据拉取,因此一个VPC对应一个环境。ARMS优先通过网络的形式采集数据,尽可能降低安装到ECS中的探针数量。云服务环境:对于常规云服务数据的采集,云服务...

通过接入中心接入数据

ECS(VPC)环境:对于ECS主机下的各类数据采集,由于大多数情况下需要通过网络进行数据拉取,因此一个VPC对应一个环境。ARMS优先通过网络的形式采集数据,尽可能降低安装到ECS中的探针数量。云服务环境:对于常规云服务数据的采集,云服务...

服务器数据采集方案概述

通过Metricbeat收集系统数据及Nginx服务数据 您可以通过阿里云Metricbeat采集器收集系统数据和Nginx服务数据,并生成可视化图表。通过Auditbeat收集系统审计数据并监控文件更改 您可以通过阿里云Auditbeat收集Linux系统的审计框架数据,...

如何删除日志?

日志服务不支持直接删除日志,您可以通过调整Logstore的数据保存时间,从而实现日志删除。当日志保存时间达到您所设置的保存时间后,日志将被删除。本文介绍如何调整Logstore的数据保存时间。操作步骤 登录 日志服务控制台。在Project列表...

构建数据仓库

产品组合:DataHub+实时计算Flink+交互式分析+MaxCompute+DataWorks+Quick BI/DataV 场景说明:数据采集:通过DataWorks(批量)、DataHub(实时)进行统一数据采集接入。数据开发:基于DataWorks进行数据全链路研发,包括数据集成、数据...

实例监控

说明 上述各 资源监控 项的数据采集周期均为1分钟,各 引擎监控 项的数据采集周期均为5秒钟。最多支持查看7天内的监控数据。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页,找到目标实例并单击...

备份存储费用说明

开启存储压缩功能后,集群的一级备份存储的 免费备份空间额度 的规则如下:如果集群的存储付费类型为按容量计费(按量付费),则在开启存储压缩功能后,一级备份存储的 免费备份空间额度 为压缩前数据存储用量×50%。如果集群的存储付费...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
对象存储 文件存储 CPFS 数据库备份 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用