应用场景

1.2 收益 系统解耦 对外,大数据系统业务系统解耦,对内,大数据系统各组件之间解耦。实时通道 通过数据总线,业务数据能够实时汇入大数据系统,缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据,实时清洗并归一化 通过...

概述

背景信息 在大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和...

高压缩引擎(X-Engine)介绍

解决方案:PolarDB 高压缩引擎(X-Engine)为应对如上历史数据归档存储方面的挑战和诉求,PolarDB 基于如下技术创新和突破,推出了 高压缩引擎(X-Engine)产品系列:阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据...

应用场景

大型促销类业务 大型促销秒杀系统系统整体访问压力非常。一般的数据库根本无法承载这样的读取压力,可选用云数据库 Memcache 版存储。带有计数器的库存系统数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息,数据...

数据质量管理流程

业务系统数据生成过程进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控,包括数据的质量风险和及时性。详情请参见:数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-CN',...

数据质量管理流程

业务系统数据生成过程进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控,包括数据的质量风险和及时性。详情请参见:数据质量风险监控 数据及时性监控$icmsDocProps={'productMethod':'created','language':'zh-...

创建通用项目

贴源层:通常用来储存从业务系统中集成的原始数据,为后续的加工与开发作为数据的来源。应用层:面向业务需求,定义生成可应用于不同场景的个性化、多样化的数据指标。通用层:通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...

通用数据开发

数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步不同业务系统数据至MaxCompute,方可通过MaxCompute的海量数据...

伯俊软件

所属行业:互联网、软件 网站地址:上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商,创立20余年,已为3000多家中型企业提供数字化管理产品、解决方案、“业务+数据中台、培训及专业的技术服务,客户覆盖零售、制造...

创建标签项目

贴源层:通常用来储存从业务系统中集成的原始数据,为后续的加工与开发作为数据的来源。应用层:面向业务需求,定义生成可应用于不同场景的个性化、多样化的数据指标。通用层:通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...

创建标签项目

贴源层:通常用来储存从业务系统中集成的原始数据,为后续的加工与开发作为数据的来源。应用层:面向业务需求,定义生成可应用于不同场景的个性化、多样化的数据指标。通用层:通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...

全场景解决方案

降低总体拥有成本 帮助客户快速构建“核心业务系统”、“业务中台”等解决方案,降低时间成本。开放的 X86 架构,灵活的弹性调度,统一信息标准,以及配套的分布式治理工具,帮助客户精准、高效的治理运维,降低总体拥有成本。客户案例 暂...

创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据中数据表的元数据,以实现通过元数据确定数据中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据中数据表的元数据,以实现通过元数据确定数据中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

统一服务

数据中台建设过程中,搭建核心处理平台,并根据相关标准要求,将源数据或治理后的数据,按照“全面、高效、统筹”的共享原则,“低延时”、“精准化”的传递给用户,方便更多应用消费数据,实现数据价值。协同管控各种组织机构,为智慧化...

管理数据库资产

在进行数据库审计前,您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型,请参见 支持的数据库类型。重要 数据库审计仅支持...

Data API功能简介

使用RDS Data API Service,可以将数据持久层从业务逻辑抽离出来,极地降低业务系统的复杂度,从而降低系统风险。架构图 安全认证体系 RDS Data API Service使用AK/SK+ARN(Aliyun Resource Name)的鉴权模式。用户无需在应用程序...

创建达梦(DM)数据

背景信息 达梦(DM)属于OLTP类型数据库,被集成在业务系统中。达梦(DM)数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点,融合了分布式、弹性计算与云计算的优势,具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...

创建达梦(DM)数据

背景信息 达梦(DM)属于OLTP类型数据库,被集成在业务系统中。达梦(DM)数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点,融合了分布式、弹性计算与云计算的优势,具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...

混合存储型(已停售)

实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很的关系:实例规格越高,内存数据的访问比重越高,性能就越强。理想的场景中,所有的访问都命中内存,此时实例性能与Redis社区版实例基本一致;反之,在内存命中率...

概述

在迁移至 PolarDB PostgreSQL版(兼容Oracle)的过程,由于部分原因,先迁移了一部分业务系统上 PolarDB PostgreSQL版(兼容Oracle),此时其它业务还是在ECS自建PostgreSQL数据。由于已迁移的业务系统和剩余的其他业务之间有数据...

分析业务过程

您可以参考业务规划设计文档以及业务运行(开发、设计、变更等)相关文档,全面分析数据仓库涉及的源系统业务管理系统:每个业务会生成哪些数据,存在于什么数据。对业务过程进行分解,了解过程的每一个环节会产生哪些数据数据的...

分析业务过程

您可以参考业务规划设计文档以及业务运行(开发、设计、变更等)相关文档,全面分析数据仓库涉及的源系统业务管理系统:每个业务会生成哪些数据,存在于什么数据。对业务过程进行分解,了解过程的每一个环节会产生哪些数据数据的...

客户案例

基于飞天数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

大数据安全治理的难点

通常,数据系统中的工作流涉及多部门、多责任人且跨系统的数据,如何才能协调好这些业务系统准时、保质保量地产出数据,避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据,关乎到企业数据业务的连续性问题甚至高层的信任问题...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据数据同步到目标数据仓库OSS,...

应用场景

背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 存储,或者经由物联网平台直接将原始数据写入 TSDB 存储。前端的监控...

新零售:特步

解决方案 通过 PolarDB-X+RDS的分布式数据解决方案支撑O2O全渠道业务中台系统上线,通过垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性。通过这套架构...

聚合支付:Ping+

解决方案 Ping+业务早期均构建于RDS MySQL之上,数据体量从2016年1个亿至2017年5个亿发展到2018年10个亿,业务规模发展迅速,急需对数据库进行拆库分表。目前Ping+目前采用两个 PolarDB-X 实例,每个 PolarDB-X 实例挂载4个RDS MySQL。其中...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

分析业务过程

用户在业务系统中,通过埋点或日常积累的方式,获取了充足的业务数据。为梳理数据之间的逻辑关系和流向,需要理解用户的业务过程及数据系统。您可以采用过程分析法,列出整个业务过程涉及的每个环节,包括技术数据系统环境等。分析完...

基于AnalyticDB实现城市公交系统智能化

启迪公交基于 AnalyticDB MySQL版 和DRDS建设的完整解决方案,将人、车、线、站的大数据资源及相关配套资源进行商业化转换,引领行业提升公交系统的创新能力和服务水平,助力“互联网+城市公交”的提升发展。业务挑战 启迪公交(北京)科技...

数据质量保障原则

一致性 一致性通常体现在跨度很数据仓库。例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户ID必须保持同一种类型,且长度也要...

产品概述

DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色,搭配强大的低代码可视化搭建编排能力,可以高效、低成本地完成可视化大屏、PC数据看板、移动端报表等各类数据可视化应用的搭建,并集成到您的业务系统中。...

使用创建反向任务功能

前提条件 已创建存储空间大于业务数据库已使用的灾备数据库,建议灾备数据业务数据大10%。已在业务数据库和灾备数据创建用于数据同步的账号。权限要求,请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...

数据集成概述

说明 以业务数据数据同步到MaxCompute数据仓库为例,当有大量的数据存储在数据系统里,需要将数据的全量及增量数据同步到MaxCompute进行数仓分析时,数据集成传统方式是通过全量同步或者依赖数据库表的 modify_time 等字段进行...

应用场景

解决方案数据同步:通过数据同步功能,将不同业务系统数据汇聚到统一的存储计算引擎,实现数据的初步融合。数据标准:管理数据标准和构建数据模型,将数据标准贯彻到数据质量分析、保障及检查的全过程,将散乱的多源异构数据加工成标准...

管理数据库

创建RDS MariaDB实例后,您需要在实例创建与您业务相关的数据库。RDS MariaDB支持通过控制、SQL命令、API接口管理数据库,包括创建、删除数据库。背景信息 概念 实例:实例是虚拟化的数据库服务器。您可以在一个实例创建和管理多个...

应用场景

交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务,最初采用的是分库分表的解决方案。分库分表的方案给核心业务带来了水平扩展的能力,同时也带来了灰度升级的能力,让核心业务系统性风险大大降低。但随着支付宝业务的飞速发展,...

近实时增量导入

实际业务数据处理场景,涉及的数据源丰富多样,可能存在数据库、日志系统或者其他消息队列等系统,为了方便用户将数据写入MaxCompute的Transactional Table 2.0,MaxCompute深度定制开发了开源 Flink Connector工具,联合DataWorks数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据库备份 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用