什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

文档修订记录

注册EMR集群至DataWorks 2023.6.27 更新功能 运维中心 运维大屏功能改版,支持展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况,以及数据集成同步任务的运行详情,助力您从宏观角度快速了解空间任务的...

产品计费

60,000起 每人日 2~20 基于用户数据量、作业数及迁移难易程度评估为准 大数据专家高阶培训 30,000 每人日 1~10 每日8小时工作制 专家运维保障综合服务(现场)30,000 每人日 1~20 可灵活选择护航保障、深度巡检、预案演练、容灾演练等4个...

MaxCompute数据

数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载(同步数据通道SLA详情请参见 数据传输服务(上传)场景与工具),请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute,按实例模式同步时...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

常见问题

1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好:如果您准备购买阿里云大数据专家服务,但是遇到如服务范围、规格、服务选择等售前方面的问题,您可以通过钉钉与我们联系,您将“当面”获得阿里云大数据专家咨询专家的建议。...

添加 Oracle 数据库的白名单

因为 VPC 实例对应的 VPC 可能在 ECS 平台进行访问限制,而作为数据评估的数据源,需要被数据评估服务器 IP 访问。记录 VPC 下拉列表中选择的目标 VPC ID。进入云服务器 ECS 控制台的 安全组 页面,在 创建安全组 右侧的下拉列表中选择 ...

查看治理结果

背景信息 数据治理中心基于治理项,按照定义的健康分模型进行量化评估,最终通过健康分的形式来体现当前账号的治理成效,健康分越高,治理成效越好。健康分相关内容,详情请参见 量化评估:健康分。治理评估页面通过治理评估报告及治理排行...

控制台发布记录

9月22日 退订固定规格计算包或存储包 PolarDB for AI集成通义千问-7B模型 PolarDB for AI上线集成通义千问-7B模型,作为 PolarDB 的一个内置模型,适用于情感分析、生成正面/负面评价、总结、翻译、对话等场景。9月21日 通义千问模型...

添加 MySQL 数据库的白名单

因为 VPC 实例对应的 VPC 可能在 ECS 平台进行访问限制,而作为数据评估的数据源,需要被数据评估服务器 IP 访问。记录 VPC 下拉列表中选择的目标 VPC ID。进入云服务器 ECS 控制台的 安全组 页面,在 创建安全组 右侧的下拉列表中选择 ...

RAM用户使用DSC授权

RAM用户访问或管理数据安全中心控制台前,需要完成授权操作。本文介绍如何授予RAM用户管理或访问数据安全中心控制台的权限。前提条件 已创建RAM用户。具体操作,请参见 创建RAM用户。为RAM用户授权 使用阿里云账号(主账号)或具有管理权限...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

使用流程

1.数据评估 数据库采集 数据库画像 目标库选型建议 数据评估分析 基于以上操作,可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等,用户可根据数据评估分析里 对象兼容度 详情和 SQL兼容度 详情,根据指导建议自助...

概述

DataWorks的安全中心作为云上大数据体系的安全门户,致力于向您提供面向数据安全生命周期全过程的安全能力,同时在符合安全规范要求的前提下,提供各类安全诊断的最佳实践。其核心功能如下:数据权限管理 安全中心为您提供精细化的数据权限...

解决方案与客户案例

流量有效隔离 异地多活本质上是提供了一种自顶向下的流量隔离能力,业务具备在数据中心级别完全隔离的能力,各个数据中心承载的流量大小可灵活调配,在最小隔离数据中心内(例如承载1%流量),业务可灵活进行风险可控的技术演进,例如基础...

解决方案与客户案例

流量有效隔离:异地多活本质上是提供了一种自顶向下的流量隔离能力,业务具备在数据中心级别完全隔离的能力,各个数据中心承载的流量大小可灵活调配,在最小隔离数据中心内(例如承载1%流量),业务可灵活进行风险可控的技术演进,例如基础...

蜂窝热力层

数据源 单击 配置数据源,可在 设置数据源 页面中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。详情请参见 配置组件数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

数据格式

数据的 近实时增量导入 可通过bucket数量水平扩展来支持高并发,因此需根据数据写入的流量以及表数据总存储大小来评估设置合理的bucket数量。Bucket数量过多,容易产生过多的小文件,影响数据读写效率和存储的稳定性,Bucket数量过少,则不...

数据脱敏

本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响?没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置,不会对源数据进行改动。是否支持脱敏图片类型的数据?不支持。

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

数据治理中心概述

数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题,并通过健康分量化评估,从全局、工作空间、个人等多个视角,以治理报告及排行榜呈现治理成果,帮助您高效达成治理目标。同时,提供...

发展历程

2021年 IDC发布《IDC MarketScape:中国政务大数据管理平台市场厂商评估2021》报告,阿里云位居行业领导者位置,产品能力居中国第一。以MaxCompute为核心代表的阿里云数仓进入 Forrester Wave 2021 Q1云数据仓库卓越表现者象限,成为入选...

DataWorks模块使用说明

使用流程概览:参考文档:数据集成概述 数据建模与开发 子模块:数据建模 功能说明:数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

常见问题

数据水印的基础上,数据安全中心通过系统内置的异常事件检测,对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警,覆盖传统数据库的基础上,还支持对象存储OSS、大数据平台MaxCompute以及...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

风险审计报告

敏感数据 评估该实例下的字段是否属于敏感数据。例:手机号、身份证号、密码等敏感字段易导致敏感数据泄露的风险。MySQL系列 自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL版、PolarDB分布式版。SQL Server系列 自建SQL Server...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

客户案例

DataWorks在多个行业中均有典型的案例落地,帮助多个行业的企业解决数据痛点,挖掘数据价值,本文为您介绍典型行业中已落地的客户案例。新零售行业:大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型,拥抱新零售,...

账单数据订阅及查询分析

您可在用户中心订阅不同类型的账单数据,例如,计费项明细账单、计费项账单按天汇总等。订阅成功后,账单数据将会定时同步至MaxCompute,您可使用DataWorks的数据分析功能查询并分析账单数据,将分析结果生成可视化图表卡片及报告,同时,...

数据防泄漏典型案例

使用数据安全中心可以监测和防范各类数据泄露风险,例如身份盗用、越权操作、违规操作、操作失误、基础设施缺陷以及数据故意泄密等。检测到异常行为并触发异常告警后,您需要仔细分析审计日志,从而评估被记录操作的正当性,并采取相应的...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

相关的云服务

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

数据分析整体趋势

大数据数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有多种不同的定义方法,给后期进行数据汇集和整合带来障碍。因此,数据处理的前奏就是数据标准化,数据标准作为一个统一的数据共识,在标准...

DataWorks On EMR使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

云产品集成

您可以使用 DMS 录入云数据库 OceanBase 的数据,通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。什么是数据管理DMS 支持的数据库...

DataWorks On CDP/CDH使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心数据保护伞、审批中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全...

概述

解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 数据库备份 DBS 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用