产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
2019年
PyDOPS的排序 PyODPS的去重 PyODPS的采样 PyODPS的数据缩放 PyODPS的空值处理 2019-10-17 新增成本优化最佳实践。新实践 新增成本优化最佳实践。成本优化 2019-10-09 SQL语法新增功能。新功能 新增合并分区语法。新增JOIN与SETOP支持括号...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
简介
该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云数据库统一权限管理，确保用户安全地用数。更多信息，请参见 安全托管。DMS Data Copilot：是...
包年包月资源隔离
基于不同的业务创建不同的MaxCompute项目：数据仓库开发和生产：按照数据仓库模型分层划分MaxCompute项目，分为数据仓库开发项目和数据仓库生产项目。运营分析需求：根据业务需求创建不同部门专用的MaxCompute项目，获取日常数据并进行分析...
文档修订记录
您可使用该模板快速构建属于您的数据仓库。行业模型模板 2023.3.02 新增功能 数据集成 以ClickHouse离线同步写入Hologres场景为例，为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。ClickHouse整库数据离线同步至...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
工作负载管理介绍
AnalyticDB MySQL 集群在数据库系统中提供了工作负载管理模块，通过工作负载管对工作负载的控制，可以提高集群的整体运行状态，满足集群更精细化控制的目的。前提条件 AnalyticDB MySQL 集群需要同时满足以下条件...相关文档 负载管理最佳实践
表设计最佳实践
本文为您介绍表设计的最佳实践方式，为实际开发提供指导和依据。产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能。在进行表设计时，应考虑避开产生大量小文件的操作。会产生大量小文件的操作如下：使用MaxCompute Tunnel ...
权限管理与规范化数据开发
标准模式下的数据权限管理。在标准模式下，当数据产出至生产环境后，默认情况下任何人均无数据读写权限。此时，如开发人员或分析师需读取生产环境数据进行数据分析或用于生产，则可以发起相关权限申请流程。默认数据权限申请流程。登录数据...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
创建表
AnalyticDB的表分为维度表和普通表，详细介绍请参见 名词解释。您可以通过DMS页面或者DDL语句创建表。通过DMS页面创建维度表 登录 分析型数据管理控制台。...相关文档 AnalyticDB系统保留字 列的最佳实践 AnalyticDB与MySQL数据类型对比
集成与开发概览
离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。流式ETL。更多信息，请参见 流式ETL。通过可视...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
数据库运维安全管理最佳实践
本文通过 云原生数据库PolarDB MySQL版（可适用于其他云数据库类型）、云账号RAM账号、DMS企业版...详情信息，请参见 数据库运维安全管理最佳实践。同时，DMS产品也支持管理ECS自建数据库、IDC自建数据库、第三方云公司等其他来源的数据库。
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
通过日志服务导入至数仓版
在 日志存储>日志库 页签中，依次展开目标Logstore下的 数据处理>导出，单击 AnalyticDB 右侧的+。在 投递提示 对话框中，单击 直接投递。首次创建投递任务到AnalyticDB MySQL时，需授予AliyunLogETLRole权限。在 无权限 对话框中，单击 ...
Tair扩展数据结构概览
云数据库 Redis 版 与开源Redis相同，支持String、List、Hash、Set、Sorted Set、Stream等数据类型，能够满足大部分场景下的开发需求，但无法直接满足一些复杂场景的业务需求，需要通过开发大量代码、使用Lua脚本等复杂的方式实现。...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
基于混合负载的查询优化
完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大数据场景下的复杂批计算场景；如何一站式的解决混合负载下的服务能力。新一代云原生数据仓库AnalyticDB MySQL版提供一站式的数仓服务。混合计算引擎 提供...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
服务关联角色
背景信息 云原生数据仓库AnalyticDB MySQL版 服务关联角色（AliyunServiceRoleForAnalyticDBForMySQL）是在某些情况下，为了完成 AnalyticDB MySQL 自身的某个功能，需要获取其他云服务的访问权限，而提供的RAM角色。更多关于服务关联角色...
API实战实践
最佳实践：文件管理OpenAPI基础实践 最佳实践：表管理OpenAPI基础实践 通过OpenAPI创建、修改、删除离线同步任务 最佳实践：数据开发、提交与运行OpenAPI基础实践 最佳实践：数据ETL操作全流程实践 最佳实践：搭建自定义运维大屏 最佳实践...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
通过Flink读写AnalyticDB PostgreSQL数据
背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 是基于Apache Flink构建的⼀站式实时大数据分析平台，内置丰富上下游连接器，满足不同业务场景的...
DataWorks on EMR数据安全方案
本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP认证方式，Open LDAP组件目前已经集成 Hive,spark thrift-server,kyuubi,presto,impala，保障认证通过的用户才...
数据类型
云原生数据仓库 AnalyticDB PostgreSQL 版 内建的数据类型 下表显示了 云原生数据仓库 AnalyticDB PostgreSQL 版 内建的数据类型。名称 别名 存储大小 范围 描述 bigint int8 8 bytes-9223372036854775808 到9223372036854775807 大...
内存型
最佳实践：TairVector混合检索实践 基于Tair Vector实现图文多模态检索 基于Tair Vector实现分子结构近似检索 基于Tair与LLM构建企业专属Chatbot 企业级特性 企业级特性 说明 通过数据闪回按时间点恢复数据 开启 Tair 的数据闪回功能后，...
什么是ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS 迁移或 同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中配置ETL典型应用
流式ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程通过DAG模式配置ETL任务 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
- 产品推荐
- 这些文档可能帮助您