什么是DataWorks

典型客户 国家电网大数据中心:通过DataWorks实现总部+27家省(市)公司PB级数据的统一管理,通过全链路数据中台的治理与监测运营体系,加快电网整体数字化转型升级。世界500强亿滋中国:通过DataWorks智能数据建模进行全链路的数据模型...

文档更新动态(2023年)

更新说明 创建、配置及手动触发识别规则 资产目录 个人数据中心 标签工厂-标签加工-离线标签 标签离线服务任务支持跨项目选择目标表。支持使用非本项目下的物理表作为来源表创建离线视图。离线视图及行为关系支持手动依赖解析及手动配置...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

Delta Lake和Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

解决方案与客户案例

流量有效隔离 异地多活本质上是提供了一种自顶向下的流量隔离能力,业务具备在数据中心级别完全隔离的能力,各个数据中心承载的流量大小可灵活调配,在最小隔离数据中心内(例如承载1%流量),业务可灵活进行风险可控的技术演进,例如基础...

解决方案与客户案例

流量有效隔离:异地多活本质上是提供了一种自顶向下的流量隔离能力,业务具备在数据中心级别完全隔离的能力,各个数据中心承载的流量大小可灵活调配,在最小隔离数据中心内(例如承载1%流量),业务可灵活进行风险可控的技术演进,例如基础...

产品更新动态

2023年9月 发布时间:2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块,用户可以在数据中心连接和管理数据库,并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

概述

DataWorks的安全中心作为云上大数据体系的安全门户,致力于向您提供面向数据安全生命周期全过程的安全能力,同时在符合安全规范要求的前提下,提供各类安全诊断的最佳实践。其核心功能如下:数据权限管理 安全中心为您提供精细化的数据权限...

常见问题

1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好:如果您准备购买阿里云大数据专家服务,但是遇到如服务范围、规格、服务选择等售前方面的问题,您可以通过钉钉与我们联系,您将“当面”获得阿里云大数据专家咨询专家的建议。...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

应用场景

数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作...

应用场景

应用程序只需配置一个连接地址,无需修改代码即可将业务平滑扩展到更多地域,从1个数据中心,扩展到2个、3个甚至更多的数据中心。上海、深圳的集群规格无需与北京保持一致,可以灵活选择。部署流程 创建一个GDN,将已有集群作为GDN中的主...

名词解释

数据中心 云数据库Cassandra中,数据中心(Data Center,简称DC)是指在同一地域下,电力、网络隔离的一组节点。在多DC的部署架构下面,DC之间内网互通,同一DC内网络延时更小,不同DC之间故障隔离。Partitioner partitioner用来确定将数据...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

个人数据中心

个人数据中心可以帮助您快捷查看自己所负责的资产,并可以对资产执行转交负责人、申请权限操作,本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人,当前表负责人可转交自己是负责人的表。项目...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

数据中心

数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

流程简介

数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...

自媒体:易撰

所属行业:自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

蜂窝热力层

数据源 单击 配置数据源,可在 设置数据源 页面中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。详情请参见 配置组件数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

客户案例

价值体现 从大数据平台上云整体“降本增效”的方案快速切入,迁移到大数据MaxCompute、实时计算、DataWorks后,部分任务有10倍以上的性能提升,存储从自建Hadoop 3PB降到900T,利用Flink实时数据处理能力,将宝宝树现有的场景实时化(...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...

专题广场

个人数据中心:可查看并管理负责人是自己的资产,详情请参见 个人数据中心。③配置中心 可创建专题分组及配置数据探查。专题分组管理:帮助您对专题分组进行统一管理,提高专题的管理效率,详情请参见 新建及管理专题分组。数据探查配置:...

相关的云服务

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

数据分析整体趋势

大数据数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

添加RDS PostgreSQL数据库

数据中心 页面下方,单击 新建数据连接。选择需要添加的数据库,单击 去连接数据库。不打开VPC开关,填写数据库信息。参数 说明 数据连接名称 数据源的显示名称,可以自由命名。域名 连接数据库的地址。重要 该地址是DataV-Atlas服务器...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模,但物理建模仅支持MaxCompute和Hive两种大数据引擎,不支持自定义数据源类型。

常见问题

数据湖后端存储使用OSS,用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图,更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建?在云上有数据分析和机器学习需求,希望构建云上的...

添加PolarDB PostgreSQL数据库

数据中心 页面下方,单击 新建数据连接。选择需要添加的数据库,单击 去连接数据库。不打开VPC开关,填写数据库信息。参数 说明 数据连接名称 数据源的显示名称,可以自由命名。域名 连接数据库的外网地址。重要 该地址是DataV-Atlas...

技术发展趋势

规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展,数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测,从2018年到2025年,全球数据将从33ZB急速增长到175ZB,比2016年产生的数据量增加了十倍。这表明注重数据价值...

云产品集成

您可以使用 DMS 录入云数据库 OceanBase 的数据,通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。什么是数据管理DMS 支持的数据库...

数据脱敏

本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响?没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置,不会对源数据进行改动。是否支持脱敏图片类型的数据?不支持。

账单数据订阅及查询分析

您可在用户中心订阅不同类型的账单数据,例如,计费项明细账单、计费项账单按天汇总等。订阅成功后,账单数据将会定时同步至MaxCompute,您可使用DataWorks的数据分析功能查询并分析账单数据,将分析结果生成可视化图表卡片及报告,同时,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用