产品优势

智能化 运用大数据和机器学习能力,通过智能化的算法,对敏感数据和高风险活动,例如数据异常访问和潜在的泄露风险进行有效识别和监控,并提供修复建议。可视化 提供敏感数据识别结果可视化能力,让企业数据安全现状一目了然。提供动态可视...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务 对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

受众与核心能力

总之,使用DataWorks,您不仅可以进行海量数据的离线加工分析,还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...

上海新能源汽车车辆基础数据

客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品,有效解决了我们平台存储和计算的横向动态扩容瓶颈,同时借助其产品中间件LTS实现了我们平台数据的冷热分离,有效降低了数据存储成本,...

MaxFrame概述

背景信息 基于Python语言的易读性、高效开发及开放生态等优势,Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言,其整合了数据分析、机器学习等各类第三方包,如Pandas(数据处理与分析)、NumPy(数值计算)、...

创建GreenPlum数据

背景信息 Greenplum是一款大数据分析引擎,作用于分析、机器学习和AI等领域。其架构主要针对管理规模分析型数据仓库以及商业智能工作负载而设计。更多详情,请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...

整体架构

云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来,AnalyticDB MySQL版 至今已累计迭代发布近百个版本,支撑起集团内的电商、广告、物流、...

Delta Lake概述

Delta Lake以数据为中心,围绕数据流走向(数据从流入数据湖、数据组织管理和数据查询到流出数据湖)推出了一系列功能特性,协助您搭配第三方上下游工具,搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...

典型场景

典型场景 数据仓库服务 您可以通过数据传输服务(DTS)或数据集成服务(DataX),将云数据库(例如RDS、PolarDB)或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

常见术语

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统Hadoop方案...

快速入门

作为学院派关系型数据库管理系统的鼻祖,它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持,包括JSON数据、IP数据和几何数据等,而部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制(MVCC)...

什么是云原生数据湖分析

云原生数据湖分析(简称DLA)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库(RDS\PolarDB\NoSQL)与消息实时归档建仓,提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...

OSS数据安全防护最佳实践

智能化:运用大数据和机器学习能力,通过智能化的算法,对敏感数据和高风险活动,诸如数据异常访问和潜在的泄漏风险进行有效识别和监控,并提供修复建议。提供定制化的敏感数据识别能力,便于客户自定义识别标准,实现精准识别和高效防护。...

Github实时数据同步与分析

本文以使用DataWorks实时同步公共数据至Hologres,并通过Hologres进行实时数据分析为例,为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤,您也可以使用付费资源,操作类似。教程...

支持的云服务

基于MaxCompute的数据仓库能力,您可以与阿里云其他产品集成,实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力,构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...

数据科学计算概述

背景信息 Python作为目前机器学习、AI模型开发的主流编程语言,提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库,用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...

基本概念

DTS 数据传输服务(Data Transmission Service,简称DTS)支持关系型数据库(RDBMS)、非关系型数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,帮助您构建安全、可扩展、高可用的...

产品架构

高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求,整体架构如下:TSCore 是时序引擎中负责数据组织的核心部分,其整体思想与LSM结构相似,数据先写入Memchunk,然后Flush到磁盘,但由于时序数据天然的顺序写入特征,定向...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

RDS术语

D DAS Database Autonomy Service,数据库自治服务,是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定、安全...

RDS术语

D DAS Database Autonomy Service,数据库自治服务,是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定、安全...

RDS术语

D DAS Database Autonomy Service,数据库自治服务,是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定、安全...

功能特性

计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

常见问题

数据湖后端存储使用OSS,用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图,更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建?在云上有数据分析和机器学习需求,希望构建云上的...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

常见问题

1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好:如果您准备购买阿里云大数据专家服务,但是遇到如服务范围、规格、服务选择等售前方面的问题,您可以通过钉钉与我们联系,您将“当面”获得阿里云大数据专家咨询专家的建议。...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

操作指南

一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要,提前或者在问题发生时购买大数据专家服务,服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...

什么是EMR on ACK

阿里云E-MapReduce(简称EMR)on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为了便于新用户快速了解DataWorks的数据开发治理操作全流程,DataWorks为您提供了...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云原生大数据计算服务 MaxCompute 数据库备份 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用