应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

什么是DataWorks

产品架构 DataWorks十多年沉淀数百项核心能力,通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六全链路数据治理的能力,帮助企业治理内部不断上涨数据悬河”,释放企业的数据生产力。...

互联网、电商行业离线大数据分析

方案优势 规模存储:超大规模存储且自动扩容,最大可以支持EB级别的数据。高性能:性能更加高效、稳定。低成本:与自建数据库进行分析相比,成本更低。安全:原生的多租户系统,以工作空间进行隔离,所有计算任务在安全沙箱中运行。可视...

应用场景

一般的数据库根本无法承载这样的读取压力,可选用云数据库 Memcache 版存储。带有计数器的库存系统 云数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息,数据库字段中存储具体计数信息。云数据库 Memcache 版来进行计数的...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

基于MaxCompute进行大数据BI分析

通过MaxCompute、AnalyticDB for MySQL强大的数据加工和分析能力,降低数据平台建设的门槛,轻松解决了海量数据的计算问题。同时有效降低企业成本,并保障数据安全。与第三方开源生态无缝对接,在不侵入用户应用的情况下,传输日志至日志...

自媒体:易撰

业务端存在复杂查询,查询涉及的数据时间跨度。单表10亿级数据,亿级数据需要多维度查询。业务端数据存储量,TB级数据存储诉求,且数据量持续高速增长。业务端数据有更新诉求,对事务有强一致性要求。解决方案 通过 PolarDB-X+RDS的...

Napatech案例

云原生多模数据库 Lindorm 助力...客户价值 支持多个100G数据流量采集点的数据包元数据存储及快速索引。帮助用户实现全量数据的回溯分析。数据库架构简化、支持弹性扩容,运维难度及成本大幅减低。集成第三方数据系统,助力业务分析。

DataWorks V3.0

E-MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据数据...

数据分析整体趋势

市场趋势 数据规模高速增长(全球2010-2025年复合增长达到27%,中国则大于30%)带来了强劲的数据分析需求。据Gartner统计,到2025年实时数据占比达30%,其中非结构数据占比达80%,同时数据存储云上规模达45%,而云上数据库规模可达75%。从...

概述

业务挑战 部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库,随着业务数据的增长,业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...

常见问题

对于内部表,所有的数据都存储在MaxCompute中,表中列的数据类型可以是MaxCompute支持的任意一种数据类型。对于外部表,MaxCompute并不真正持有数据,表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息,您可以通过...

受众与核心能力

数据地图(公共云)/数据管理(专有云):提供强大的数据搜索、数据类目、数据血缘等能力。数据资产管理(仅专有云):统一管理整个平台的数据表、API等各类数据资产。数据安全:数据脱敏、权限控制等能力。应用开发(仅公共云):基于Web...

典型场景

构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建规模的可以增删改查的数据集,延迟为T+10分钟。一键建仓:支持数据库一键入湖,T+1天。文件上传:数据上传后,DLA元数据发现功能可自动发现并构建好元数据体系。数据...

数据仓库研发规范概述

大数据时代,规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会...

基本介绍

面对数据(无限扩展、高吞吐)、在线服务(低延时、高可用)、多功能查询的诉求,其可为用户提供无缝扩展、高吞吐、持续可用、毫秒级稳定响应、强弱一致可调、低存储成本、丰富索引的数据实时混合存取能力。与云原生多模数据库Lindorm的...

JindoFS介绍和使用

A:因为JindoFS SDK和Cache模式完全兼容OSS对象存储语义,具有完全的存储分离架构和弹性灵活性,所以,针对典型的数据湖场景,推荐您使用SDK或者Cache模式以支持数据分析和AI训练加速。Q:为什么Block模式跟HDFS相比,是更好的HDFS?A:...

索引优化

数据集场景下优先考虑稀疏索引:如果您的数据量非常地大,并且您的查询限定条件为<、、=、>=、>,需要从数据量的表中取出少于50%的数据,那么使用稀疏索引(BRIN Index或者AOCS表的metascan)可以极地减少无效数据的加载。...

创建MaxCompute数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...

创建GreenPlum数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

核心能力

数据资源平台提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

ActionTrail日志清洗

DLA提供ActionTrail日志自动清洗解决方案,可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表,同时自动对数据进行分区和压缩,方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...

应用场景

大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与Spark、MaxCompute等大数据平台集成,完成数据规模离线分析。优势如下:低成本:高压缩比,数据冷热分离,...

冷热分层

其中冷数据的数据量较,很少被访问,甚至整个生命周期都不会被访问。冷热数据的区分方式如下:按照数据的创建时间:通常,数据写入初期,用户的关注度较高且访问频繁,此时的数据为热数据。但随着时间的推移,旧数据访问频率会越来越低,...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

配置DataHub输出组件

配置DataHub输出组件,可以将外部数据库中读取数据写入到DataHub,或从大数据平台对接的存储系统中将数据复制推送至DataHub,进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作,请参见...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

创建Impala数据

使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成,因此性能相较于Hive较差,若您集成的表为非Kudu表,您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时,才支持使用DLF获取元数据。...

创建Hudi数据

同步到Hive的数据库名称:填写同步到Hive的数据库名称。单击 确定,完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通,因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...

新建TDengine数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...

新建TDengine数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Flink_SQL任务开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...

主备方案介绍

A:存储的是数据D1和数据D2中时间戳更大的数据,数据在LTS同步过程中不会改变数据原有的时间戳,一般情况下存储的是数据D2,但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小,在这种情况下存储的...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

ETL工作流快速体验

案例提供的数据仅用于阿里云数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色,请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...

数据质量保障原则

一致性 一致性通常体现在跨度很大的数据仓库中。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支中必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

新建Doris数据

如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息,请参见 Flink_SQL任务开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...

创建Hologres数据

在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中,您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres,是阿里巴巴自主研发的一款交互式分析...

外部表概述

MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储,直接对外部数据进行操作,从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...

数据分析概述

DataWorks提供的数据分析平台,可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中,您不仅可以在线洞察数据,还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云原生大数据计算服务 MaxCompute 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用