数据服务

背景信息 数据服务提供了数据中台建设过程中的数据服务化能力,面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力;面向数据资产管理者提供服务的统计分析、服务用量统计分析,实现数据中台...

新零售:特步

解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线,通过垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性。通过这套架构...

空间数据(邀测

数据处理 支持倾斜数据处理能力,可以将OSGD格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

功能简介

数据处理 支持倾斜数据处理能力,可以将OSGB格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

规范定义最佳实践

在您开始使用Dataphin进行数仓模型设计前,需要完成业务调研、需求分析、构建总线矩阵(从业务数据中抽象出业务过程和维度)、明确并定义统计指标。本教程中假设已完成需求调研、业务分析和构建总线矩阵,带您体验如何明确并规范定义统计...

创建元数据

列字段配置 新建列字段 字段名称:配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。支持多层嵌套,使用点(.)分隔。字段类型:根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...

创建元数据

列字段配置 新建列字段 字段名称:配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。支持多层嵌套,使用点(.)分隔。字段类型:根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...

资产安全概述

应用场景 基于Dataphin实现数据安全保护的一些典型的场景:场景1:业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能,脱敏明文敏感数据,保证业务数据安全。例如,姓名张三脱敏后*三。场景2:开发环境数仓建设 敏感数据...

混合存储型(已停售)

例如,选择 64G内存256G磁盘主从版,则实例最多能存储256 GB的数据,在这些数据中,有64 GB可以缓存到内存中。混合存储型实例的详细规格请参见 规格查询导航。说明 CPU核心数暂不支持自定义。内存和磁盘中会保存Key对应的元信息,其中包含...

规格及选型

案例二:互联网SaaS用户 用户为互联网SaaS客户,需要建立数据中台,涉及多数据源包括RDS、Flink、OSS等,期待在平台上完成数据的ETL流程,实现多源处理以及分析侧不同场景的混合负载支持,需要高稳定性保证,同时平台对接数据应用支持报表...

案例介绍

本案例以某公司的零售事业群为例,为您介绍在构建数据中台时,如何规划业务模型中的业务板块、项目、数据域和指标等,帮助您更好的理解Dataphin的核心概念。案例场景简介 某公司是一家横跨多个行业领域的大型企业,以零售商超起家,逐步...

版本发布记录

计费项 数据字典 支持控制配置数据字典,当业务有常量数据或者业务数据可以划分为业务事实表和业务维度表,通过数据字典来替代维度表,直接查询字典获得维度数据,增加查询效率。数据字典 资源队列 解决开源版单个大查询消耗资源过多...

概述

数据域 数据域是一个较高层次的数据归类标准,是对企业业务过程进行抽象、提炼、组合的集合,是企业业务人员在使用数据时第一个分组入口,可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。数据域面向业务分析,一个...

客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

伯俊软件

上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商,创立20余年,已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据中台、培训及专业的技术服务,客户覆盖零售、制造、金融、互联网及政府机构等领域。...

维度建模概述

维度表 结合业务的数据域的规划,提取出各业务数据进行数据分析时可能存在的维度,并将维度及其属性通过维度表的方式存储下来。例如,在进行电商业务数据分析时,可用的维度及其属性有:订单维度(属性包括订单ID、订单创建时间、买家...

产品简介

适用场景 如果您在大数据业务场景遇到如下问题,可以通过阿里云大数据专家获取专属服务:受限于传统数据工作开展方式及组织管理模式,数字化转型遇难到大数据各方面瓶颈;根据业务发展,难以从全局构建稳定的、变化的、集成的大数据...

概述

优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用,包括阿里巴巴数据中台,阿里巴巴电商新零售业务,阿里云城市大脑,通义千问大模型搭建的问答服务等...

创建单物理表服务单元

单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作,请参见 创建服务项目...

创建单物理表服务单元

单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作,请参见 创建服务项目...

常见问题概览

连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制添加...

受众与核心能力

同时,DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块,为企业业务的数字化转型提供支持。产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员...

添加DataWorks数据服务数据

本文介绍在DataV添加DataWorks数据服务数据源,并将通过DataWorks数据表生成的API,快速地展示在DataV可视化大屏的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...

添加DataWorks数据服务数据

本文介绍在DataV添加DataWorks数据服务数据源,并将通过DataWorks数据表生成的API,快速地展示在DataV可视化大屏的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...

概述

业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库,随着业务数据的增长,业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...

数据治理

任务开发上线之后,数据正在稳定生产,您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理,而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...

数仓规划概述

数据域 数据域是一个较高层次的数据归类标准,是对企业业务过程进行抽象、提炼、组合的集合,是企业业务人员在使用数据时第一个分组入口,可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。详情请参见 数据域。业务过程...

C100售后支持相关问题

说明 如果服务器与数据库审计系统之间的网络无法连通,则一个数据库审计实例只能对一服务器数据库进行审计。示例三,您在阿里云账号A下有5服务器,阿里云账号B下也有5服务器。您只需连通每服务器与数据库审计系统之间的网络,...

逻辑结构说明

项目 项目是一种物理空间上的划分,便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度,是指一种视角,是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...

高压缩引擎(X-Engine)介绍

挑战和诉求:历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征,都是最新产生的数据会被更频繁地读取或更新,而更久之前的数据(如1年前的聊天记录或订单信息)很少被访问。随着业务发展,数据库系统会积累大量访问频率很低...

典型使用场景

典型的数据源包括:MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库,业务App产生的日志数据,在OSS/Hadoop上的归档数据,以及来自Kafka/Flink等系统的流式数据。在库对ODS层数据进行加工,形成CDM(Common Data Model)和ADS...

什么是DataWorks

DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始,DataWorks与阿里巴巴业务共同发展,结合MaxCompute、Hologres等大数据计算引擎的能力,跨越多个技术阶段,支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...

独享数据服务资源组

(2)规格变更(升配)您可以根据业务需求,在DataWorks管理控制台中对每个独享数据服务资源订单的资源配置进行升级。您仅需支付升配资源从当前时间点至原订单到期时间点之间的差价。详情请参见:变更规格操作。说明 升配仅会根据已购...

应用场景

实时通道 通过数据总线,业务数据能够实时汇入大数据系统,缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据,实时清洗并归一化 通过数据总线和实时计算,您可以把多种数据源的异构数据实时清洗成统一的结构化数据,为进一步...

保险行业解决方案与案例

成本:实现多套系统合并,将原有的上百个业务数据库按照集群规划整合,实现集中管控,数据存储量下降为原有存储量的1/3,每年硬件和运维管理成本节省数千万元;业务系统改造量最小化,最大程度的保护了应用上的既有投资,降低了系统改造的...

管理数据库

创建RDS MariaDB实例后,您需要在实例创建与您业务相关的数据库。RDS MariaDB支持通过控制、SQL命令、API接口管理数据库,包括创建、删除数据库。背景信息 概念 实例:实例是虚拟化的数据库服务器。您可以在一个实例创建和管理多个...

管理数据库

创建RDS MySQL实例后,您需要在实例创建与您业务相关的数据库。RDS MySQL支持通过控制、SQL命令、API接口管理数据库,包括创建、删除数据库。背景信息 概念 实例:实例是虚拟化的数据库服务器。您可以在一个实例创建和管理多个数据库...

核心概念

项目 项目是一种物理空间上的划分,便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。一个数据板块可以包含多个项目,Dataphin成员可以加入到多个不同的项目。一个数据板块可以有多个项目,但是一个项目只能属于一个数据...

应用场景

构建数据中台,行业领域模型快速沉淀 场景:快速构建数据仓库,有效治理数据质量,实现政企客户各部门数据的业务协同和共享。痛点:以政务服务为例,政务服务部门众多,业务系统复杂、流程长,数据来源多且更新频率高;数据口径标准、数据...

确定需求

在基于Dataphin构建与管理企业数据中台之前,首先需要确定数仓构建的目标与需求,进行全面的业务调研。您需要了解真实的业务需求是什么,以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用