DataWorks V3.0
发布版本：DataWorks V3.0 发布时间：2019年12月18日 发布范围：全球所有已开通DataWorks的地域 发布内容：DataWorks V2.0仅支持MaxCompute计算引擎，DataWorks V3.0全新升级了多引擎架构，在MaxCompute的基础上，新增开源大数据引擎E-...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
规格明细
10 100 数据集过滤条件数量/100 数据集数（单个工作空间）/1000 数据准备 规格分类 规格描述 建议值 限制值 数据准备 数据准备数（单个工作空间）/100 数据准备预览数据行数/1000 数据准备变量数/5 数据准备组件数/20 数据准备组件数据字段...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
代码模式建模
DataWorks数据建模的设计与实现解耦，在设计过程中，您无需考虑各个大数据引擎的实现方式，建模引擎会根据FML语言定义的Schema去驱动底层各个数据引擎的执行和操作，仅在实际物化（即把设计的逻辑表转换为底层引擎的物理表）阶段，建模引擎...
基于Delta lake的一站式数据湖构建与分析实战
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
逆向建模：物理表反向建模
建模流程 逆向建模主要用于将大数据引擎中已经存在的物理表反向建模至DataWorks的维度建模中，其建模流程如下：配置逆向建模策略。建模范围：创建模型前，您需要根据业务需求确定需要将哪些表逆向生成模型。该过程需确定表所在的工作空间、...
如何选择文件引擎规格
存储规格选择 当您选择Lindorm文件引擎 作为大数据、数据湖的底层存储时，推荐您选用 容量型云存储 类型。Lindorm存储以预留空间方式计费，需要确保LindormDFS的预留存储空间超出您的最大使用空间10%以上 说明 容量型存储在保持低成本的...
Serverless Spark概述
传统开源Spark集群版面临的挑战 Spark是大数据领域十分流行的引擎，面向数据湖场景，Spark本身内置的数据源连接器，可以很方便的扩展接口。Spark既支持使用SQL，又支持编写多种语言的DataFrame代码，兼具易用性和灵活性。Spark一站式的引擎...
持久内存型
云原生内存数据库Tair 持久内存型（简称持久内存型），基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎...
Tair（Redis企业版）简介
阿里云数据库Redis企业版（又称阿里云Tair），是基于阿里集团内部使用的Tair产品研发的云上托管企业级内存数据库，从2009年开始正式承载阿里集团业务，历经天猫双十一、优酷春晚、菜鸟、高德等业务场景的磨练，是一款真正的企业级内存数据...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
什么是云原生内存数据库Tair
云原生内存数据库Tair 是阿里云国产自研的云原生内存数据库。在完全兼容Redis的基础上，提供了丰富的数据模型和企业级能力来帮助客户构建实时在线场景。同时，Tair与新型存储介质——持久内存的高效结合，相比内存型，成本降低30%以上，并...
创建实例
重要 实例创建成功后，您可以更改数据引擎的节点规格和数量、开通未购买的数据引擎，但无法关闭已开通的数据引擎。选择 存储容量。存储容量决定了您的实例可以存储多少数据。不同存储类型，存储容量的设置有所不同。存储类型为标准型云存储...
开通数据订阅
数据订阅功能可以帮助您获取Lindorm的实时增量数据，及时掌握数据的变化情况。您可以在Lindorm管理控制台开通数据订阅功能，并根据自身业务需求消费增量数据，搭建多种业务场景。本文介绍在控制台开通数据订阅功能的方法。前提条件 已开通...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
UpgradeLindormInstance-变配Lindorm实例
接口说明 Lindorm 实例的数据引擎和存储规格，请参见 如何选择数据引擎 和 如何选择存储规格。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
存储类型
宽表引擎、时序引擎、搜索引擎、文件引擎 说明 购买实例时，如果 存储类型 选择 本地SSD盘，仅支持选择 本盘节点规格 和数据引擎的节点数量。支持选购容量型存储。支持挂载云盘与本地SSD盘并池。支持副本异构。支持EC纠删码（1.5副本）。...
引擎类型
云原生多模数据库 Lindorm 内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎，兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口，同时提供SQL查询、时序处理、文本检索分析等能力。为应对动态变化的...
产品架构
其中云原生分布式文件系统LindormDFS为统一的存储底座，向上构建各个垂直专用的多模数据引擎，包括宽表引擎、时序引擎、搜索引擎、流引擎等。在多模引擎之上，Lindorm既提供统一的SQL访问，支持跨模型的联合查询，又提供多个开源标准接口...
开通备份恢复
云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据...
CreateLindormInstance-创建Lindorm实例
关于数据引擎和存储规格请参见 如何选择数据引擎 和 如何选择存储规格。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
什么是RDS MySQL
RDS MySQL 阿里云关系型数据库服务RDS（Relational Database Service）支持MySQL引擎，RDS MySQL是基于阿里巴巴MySQL源码分支的在线数据库服务，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据...
功能特性
数据库自治 功能集 功能 功能描述 参考文档 监控告警 7 x 24小时异常检测 基于机器学习和细粒度的监控数据，实现7 x 24小时异常检测，全天侯监控数据库异常变化。异常检测 性能趋势 提供了丰富的性能监控指标并支持自定义图表；能够展示...
购买按量付费集群
步骤1：完成基础配置 基础配置包括购买集群的基础需求（计费类型、地域可用区）以及集群所需的基础资源（数据库引擎、集群计算规格、数据库代理、存储）。完成基础设置后，单击 下一步：集群配置。前往 PolarDB集群购买页面。选择 计费类型...
购买包年包月集群
步骤1：完成基础配置 基础配置包括购买集群的基础需求（计费类型、地域可用区）以及集群所需的基础资源（数据库引擎、集群计算规格、数据库代理、存储）。完成基础设置后，单击 下一步：集群配置。前往 PolarDB集群购买页面。选择 计费类型...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
基本概念
G Ganos时空引擎 阿里云推出的一款管理空间几何数据、时空轨迹的时空大数据引擎系统。该系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法等，结合 云原生多模数据库 Lindorm 宽表引擎强大的分布式存储...
什么是RDS MariaDB
RDS MariaDB 阿里云关系型数据库RDS（Relational Database Service）支持MariaDB引擎，RDS MariaDB基于MariaDB提供企业级性能，支持的功能请参见 功能概览。说明 如果业务复杂，您可以购买 支持计划，获取由IM企业群、技术服务经理（TAM）...
什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
持久内存型
Tair 持久内存型（简称持久内存型）基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，...
概述
固定规格集群的Serverless功能 固定规格集群的Serverless功能的技术架构图 固定规格集群的Serverless功能的Proxy 数据库代理Proxy资源由普通集群的Proxy资源和Serverless Proxy资源两部分组成，其中固定规格的Proxy资源按照普通集群的Proxy...
购买按量付费集群
步骤1：完成基础配置 基础配置包括购买集群的基础需求（计费类型、地域可用区）以及集群所需的基础资源（数据库引擎、集群计算规格、数据库代理、存储）。完成基础设置后，单击 下一步：集群配置。前往 PolarDB集群购买页面。选择 计费类型...
购买包年包月集群
步骤1：完成基础配置 基础配置包括购买集群的基础需求（计费类型、地域可用区）以及集群所需的基础资源（数据库引擎、集群计算规格、数据库代理、存储）。完成基础设置后，单击 下一步：集群配置。前往 PolarDB集群购买页面。选择 计费类型...
- 产品推荐
- 这些文档可能帮助您