功能特性
作业运维 数据联邦 MaxCompute支持湖仓一体能力，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。功能集 功能 功能描述 参考文档 数据联邦 基于Delta Lake或Hudi存储...
新建事实逻辑表
步骤三：配置事实逻辑表计算逻辑 在 计算逻辑 页面，配置事实逻辑表的来源数据与主键间的映射关系。单击 来源配置，进入 来源配置 对话框并在 来源配置 对话框中，配置来源参数。说明 建议不要在过滤条件或自定义SQL中额外设置对事件时间的...
新建普通维度逻辑表
步骤三：配置普通维度逻辑表计算逻辑 计算逻辑 配置页面用于配置维度逻辑表的来源数据与主键间的映射关系。单击 来源配置，进入 来源配置 对话框并单击 添加来源对象 按钮，配置来源参数。说明 建议不要在过滤条件或自定义SQL中额外设置对...
确定需求
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下，单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度的思考和分析。需求分析的途径有两种：根据与分析师...
确定需求
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下，单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后，您需要进一步收集数据使用者的需求，进而对需求进行深度的思考和分析。需求分析的途径有两种：根据与分析师...
数据加工过程卡点校验
基于MaxCompute的数据仓库在进行离线数据抽取时，通过DataWorks的数据集成工具，可能会限制某个业务数据库表。如果该数据库表发生扩容或者迁移等，数据集成工具感知不到，可能导致数据抽取错漏，而一旦错漏，会影响下游所有依赖该表的应用...
AnalyticDB MySQL湖仓版（3.0）使用流程
云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版）是云端托管的PB级高并发实时数据仓库，是专注于服务OLAP领域的数据仓库。本指南将指引您完成一次 AnalyticDB MySQL版 集群创建及使用。湖仓版（3.0）快速入门视频指导 ...
AnalyticDB MySQL数仓版（3.0）使用流程
云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版）是云端托管的PB级高并发实时数据仓库，是专注于服务OLAP领域的数据仓库。本指南将指引您完成一次 AnalyticDB MySQL版 集群创建及使用。数仓版（3.0）快速入门视频指导 ...
通过Flink读写AnalyticDB PostgreSQL数据
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
数据集成调度策略说明
通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据迁移的数据源均支持数据集成功能，详情请参见 迁移方案概览。费用说明 迁移类型 链路配置...
开发Dataphin数据源并加速数据查询
数据来源 支持 MaxCompute 和 Hologres 两个数据来源。MaxCompute（默认）：支持选择 逻辑表 和 物理表，计算空间只能选择绑定了MaxCompute计算源的项目。Hologres：仅支持选择 物理表，计算空间只能选择绑定了Hologres计算源的项目。说明 ...
元数据仓库共享模型概述
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
概述
参见 数据源管理 章节，创建数据源，选择希望导入到数据湖的数据来源。参见 入湖模板 章节，创建数据湖模板，定期将数据源中的数据抽取到数据湖。参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
使用kettle将本地数据导入AnalyticDB MySQL 2.0
在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，映射Excel文件的列与 云原生数据仓库AnalyticDB MySQL版 2.0集群中表的列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。待本地数据成功导入 云...
查看表资产详情
背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 发现。在顶部菜单栏，单击 资产目录。在 资产目录 页面，单击 数据表 页签，选择下面...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
通过Logstash导入数仓版
Logstash组件介绍 输入-采集各种样式、大小和来源的数据 在实际业务中，数据往往以各种各样的形式分散或集中地存储在多个系统中，Logstash支持多种数据输入方式，可以在同一时间从多种数据源采集数据。Logstash能够以连续的流式传输方式...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
功能优势
上述SQL把 '2019-03-31 00：00：00' 之后写入的数据与二月份的数据做笛卡尔积，把向量点积大于0.9的商品的对应ID提取出来。易用性 向量分析完整继承了分析型数据库MySQL版的所有商业工具和生态，并支持常用的特征提取模型和第三方特征提取...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS...在延时时间区间内，如果需要恢复，可通过一键回滚功能恢复来源数据库中的数据。
数据仓库研发规范概述
本文将为您介绍数据仓库研发规范的阶段规划、角色职责和整体流程。在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、...数据仓库研发规范整体流程 下图为根据阶段规划与角色职责的内容，整理出的数据仓库研发规范的整体流程。
联系我们
如果您准备使用或正在使用云原生数据仓库AnalyticDB MySQL版，有任何疑问和建议，欢迎您加入云原生数据仓库AnalyticDBMySQL版钉钉群。开发者技术交流群，钉钉群号：23128105。湖仓版体验交流群，钉钉群号：33600023146。
数据源开发和生产环境隔离
请在配置数据源时，确认开发数据源对应的数据库或数据仓库与生产数据源对应的数据库或数据仓库环境是否符合业务现状。例如出现DataStudio执行成功，生产调度时执行失败，或DataStudio执行与生产调度时执行数据量不一致等问题时，您可对比...
通过实时计算Flink读写云原生数据仓库AnalyticDB ...
云原生数据仓库AnalyticDB PostgreSQL版 支持通过实时计算Flink读写数据。本文介绍如何通过Flink写入数据到 AnalyticDB PostgreSQL版 及读取 AnalyticDB PostgreSQL版 数据。通过实时计算Flink版写入数据到AnalyticDB PostgreSQL版 具体...
包年包月资源隔离
使用案例 场景 数据仓库团队使用MaxCompute进行开发、分析、挖掘的业务大致为：数据仓库开发和生产、运营分析需求、算法挖掘。基于不同的业务创建不同的MaxCompute项目：数据仓库开发和生产：按照数据仓库模型分层划分MaxCompute项目，分为...
PHP访问（2.0版）
user_id为列名 } 使用mysqli连接 云原生数据仓库AnalyticDB MySQL版 2.0集群/连接云原生数据仓库AnalyticDB MySQL版2.0集群的url，可从云原生数据仓库AnalyticDB MySQL版控制台获取url连接信息$ads_server_name="mydbname-xxxx.ads-...
无感集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
应用开发向导
连接云原生数据仓库MySQL版推荐的方式是 druid-jdbc 或 tddl？当使用JDBC连接池连接云原生数据仓库MySQL版时，推荐使用Druid连接池，且尽量使用最新版本。请参考 Druid。关于Druid连接池配置，请务必按照如下配置项进行配置：maxActive:100...
典型场景
本文将介绍 云原生数据仓库AnalyticDB PostgreSQL版 的典型场景及产品功能优势。典型场景 数据仓库服务 您可以通过数据传输服务（DTS）或数据集成服务（DataX），将云数据库（例如RDS、PolarDB）或自建数据库批量同步到 云原生数据仓库...
通过实时计算Flink版读取云原生数据仓库AnalyticDB ...
本文介绍如何通过阿里云实时计算Flink版实时读取 云原生数据仓库AnalyticDB PostgreSQL版（原分析型数据库PostgreSQL版）数据，包括版本限制、语法示例、创建和运行Flink作业、WITH参数、CACHE参数、类型映射和参数支持等。版本限制 创建3....
转换计费方式
按量付费的 云原生数据仓库AnalyticDB MySQL版 3.0 集群可以转为包年包月集群。本文介绍按量付费转包年包月的操作说明。背景信息 按量付费变更为包年包月，需要支付包年包月费用，请确保余额充足。操作步骤 登录 云原生数据仓库AnalyticDB ...
计费概述
本文介绍 云原生数据仓库AnalyticDB MySQL版 的计费方式、计费项、定价等信息。计费方式 云原生数据仓库AnalyticDB MySQL版 支持包年包月和按量付费两种计费方式。包年包月：也称为预付费，即在购买时支付费用，适合长期需求。包年包月购买...
什么是云原生数据仓库AnalyticDB MySQL版
云原生数据仓库AnalyticDB MySQL版 是基于湖仓一体架构打造的实时数仓，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建企业的数据分析...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或...
通过DataWorks导入
独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。操作步骤 配置同步的源端数据库读插件。具体操作，请参见 HDFS Reader。配置同步的目标端数据库写插件。具体操作，请参见 AnalyticDB for MySQL 3.0 Writer。...
账号类型
云原生数据仓库MySQL版账号基于阿里云账号体系，阿里云账号是云原生数据仓库MySQL版资源使用的计量和计费主体。除了阿里云账号外，云原生数据仓库MySQL版同时也支持通过访问控制...用户：被授权的数据库用户，由数据库拥有者授权时自动添加。
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将RDS SQL Server数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将RDS MySQL数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。...
- 产品推荐
- 这些文档可能帮助您