大数据基础服务-大数据基础服务文档介绍内容-阿里云

什么是EMR on ACK

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比阿里云EMR提供on ECS和on ACK两种方式，以...

发展历程

MaxCompute登上Forrester《2018年一季度云端数据仓库》大数据服务榜单。Gartner发布了《2017年分析型数据管理解决方案（DMSA）魔力象限》报告，阿里云作为云服务商成功冲进Gartner魔力象限。Forrester：CloudData Warehouse Q4 进入第三...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

大数据上云及巡检服务内容说明

本服务包含四项子服务，客户可以结合自身业务需求进行购买：大数据迁移方案设计服务（可选）大数据迁移方案实施基础服务（可选数据迁移、任务迁移两种子服务其中之一）大数据迁移方案实施增补服务（可选）服务注意事项如下：本SOW在一次...

ListDataServiceApplications

调用ListDataServiceApplications获取数据服务应用的基础信息列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值 ...

快速入门

本文介绍大数据专家服务的购买方式。价格版本定价说明：点击查看价格。操作步骤第一步：进入阿里云官网，打开 大数据专家服务产品详情。第二步：点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三...

操作指南

一、大数据专家服务流程指南二、服务流程说明用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...

产品简介

大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...

操作审计事件数据迁移至MaxCompute

参数描述 大数据计算服务地域被投递数据的MaxCompute项目所在地域。说明操作审计会将审计日志投递至MaxCompute指定地域下的actiontrail_<阿里云账号ID>项目中。因为同一阿里云账号下MaxCompute项目名称唯一，若账号下已有actiontrail_...

应用场景

数据分析业务云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

计费逻辑说明

软件费用明细：版本服务数据建模 DataWorks支持使用智能数据建模和DATABLAU数据建模两种产品构建数据模型，您可以根据业务需求选购合适产品使用。软件费用明细：数据建模增强分析 DataWorks增强分析提供卡片和报告功能，您无需下载数据，...

产品计费

本文介绍大数据专家服务计费方式与价格。计费方式计费项：按服务类型进行计费。计费方式：预付费。有效期：365 天（自然日）。说明请在服务购买后的365个自然日内使用您购买的服务，服务过期作废。所有服务均不支持自动退款，若服务未...

应用场景

应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线，您可以实时接...大数据实时化数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。

支持的数据源

大数据 MaxCompute Lindorm宽表支持，由 Lindorm LTS 提供服务。不支持。文件 CSV Lindorm宽表支持，由 Lindorm LTS 提供服务。不支持。Parquet Lindorm宽表支持，由 Lindorm LTS 提供服务。不支持。数据导出源集群目标集群全量导出 ...

附录一：运维服务产品清单

HTTPDNS httpdns 企业应用应用服务 API网关 apigateway 企业应用应用服务邮件推送 directmail 安全应用安全 Web应用防火墙 waf 安全应用安全 SSL证书（CA证书服务、数据安全）cas 安全网络安全 DDoS防护 ddos 安全网络安全游戏盾 ...

API资产详情

本文为您介绍如何查看API的资产详情。API详情请参见搜索数据，进入目标数据服务的详情页面。编号描述 ① 概要信息为您展示数据服务的名称。同时，您还可以执行如下...③ 资产信息为您展示数据服务的基础信息、使用信息和变更信息。

DataWorks模块使用说明

使用流程概览：参考文档：数据治理中心概述 数据服务 子模块：数据服务 功能说明：DataWorks数据服务旨在为企业提供全面的数据服务及共享能力，帮助企业统一管理面向内外部的API服务。使用流程概览：参考文档：数据服务概述其他子模块 ...

实验介绍

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

基本概念

数据结构多样时，可以选择将结构化数据存储在Lindorm，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见什么是云数据库MongoDB版。O OSS 对象存储服务（Object Storage Service，简称OSS）是阿里云提供的海量、...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能，将云消息队列 Kafka 版集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...

快速体验

涉及产品本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...

从RDS同步至MaxCompute

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...

数据服务：低成本快速发布API

计费使用DataWorks的数据服务功能创建数据API后，API调用请求需使用数据服务资源组，数据服务资源组包括公共资源组与独享资源组两类，您可以根据业务需要选用，对应资源组的计费详情请参见独享数据服务资源组计费说明：包年包月、公共...

DataWorks产品安全能力介绍

DataWorks及大数据计算服务MaxCompute为您提供了诸多数据防护的基础及进阶能力，具体如下。数据传输传输加密：支持在创建数据同步任务时，对数据源开启SSL传输通道加密。临时身份：支持将临时Token作为数据源访问身份，消除认证信息泄露...

大数据安全治理的难点

流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...

DataWorks数据服务对接DataV最佳实践

通过数据服务，您可以将MaxCompute中加工好的数据结果，直接在DataV中进行呈现，实现数据开发-数据服务-数据分析展现的全链路开发。在开发过程中，请注意以下事项：DataWorks数据服务向导模式生成API仅支持单表简单条件查询，脚本模式支持...

弹性预留CU

资源说明基础资源资源说明计费说明预留计算资源可选资源。资源池为独享型，必须先有包年包月预留计算资源才可按需扩容。说明资源的基本单位定义为CU（Compute Unit），1 CU=4 GB内存+1 CPU Core。您可以在MaxCompute控制台的配额...

DataWorks OpenAPI概述

OpenAPI列表 DataWorks OpenAPI包括租户、元数据、数据开发、数据集成、数据建模、运维中心、数据质量、数据服务、数据保护伞、迁移助手及安全中心。租户 API名称 API描述 API级别最低版本要求（本版本及以上版本支持）ListCalcEngines ...

安装IntelliJ IDEA

MaxCompute Studio是运行在IntelliJ IDEA上的插件，本文将为您介绍如何安装MaxCompute Studio的基础平台IntelliJ IDEA。前提条件 IntelliJ IDEA支持在Windows、macOS或者Linux操作系统上安装，硬件及系统环境要求请参见 Requirements for ...

DataWorks V3.0

DataWorks V3.0核心特性支持多种计算引擎 DataWorks V3.0全新升级了多引擎插件化架构，在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上，新增开源大数据引擎E-MapReduce、交互式分析和图计算服务（Graph Compute）等引擎服务。...

快速体验

数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...

常见问题

1.售前咨询渠道尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...

功能特性

查看服务和组件健康状态组件管理组件操作阿里云EMR集群集成了一系列大数据服务，用于处理、分析和存储大规模数据，并提供了组件的基础操作以及高阶实践。组件操作查看组件部署信息支持查看各节点上服务组件的部署信息。查看组件部署...

SQL概述

MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...

01新建模型目录

DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...

基础折线图

动作动作说明请求基础折线图接口描述重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基础折线图配置了API数据源为 https://api.test ，传到请求基础折线图接口描述动作的数据为 { id:'1'}，则最终请求...

基础区域图

动作动作说明请求基础区域图接口描述重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基础区域图配置了API数据源为 https://api.test ，传到请求基础区域图接口描述动作的数据为 { id:'1'}，则最终请求...

基础折线图

动作动作说明请求基础折线图接口描述重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基础折线图配置了API数据源为 https://api.test ，传到请求基础折线图接口描述动作的数据为 { id:'1'}，则最终请求...

大数据基础服务

新品推荐