设计阶段
设计完毕后，最终将产出供开发人员参照实施开发的ETL设计文档、数据探查文档、调度设计文档，为需求的有效实现打下坚实基础。设计阶段的流程包括以下步骤：数据探查 数据探查的目的是了解数据的形态，找到潜在问题与风险。数据探查是决定...
概述
PolarDB-X 结合ADB提供了库仓一站式的能力，基于“Zero-ETL”的设计理念，采用共享同一份列存索引的数据，基于ADB的数据仓库能力可以满足多方的数据汇总和数据关联查询，提供传统意义上的数仓和湖的分析。同时，针对在线数据的并发查询可以...
建模空间
数据研发工作空间 为数据开发工程师视角，主要用于模型发布以及基于模型设计结果进行ETL数据开发。模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后，模型设计师在进行模型（汇总表、维度表、明细表、应用表）发布时，可以...
数据引入层（ODS）
ODS层设计规范 ODS层表命名、数据同步任务命名、数据产出及生命周期管理及数据质量规范请参见 ODS层设计规范。建表示例 为方便您使用，集中提供建表语句如下。更多建表信息，请参见 表操作。CREATE TABLE IF NOT EXISTS s_auction(id ...
数据引入层（ODS）
ODS层设计规范 ODS层表命名、数据同步任务命名、数据产出及生命周期管理及数据质量规范请参见 ODS层设计规范。建表示例 为方便您使用，集中提供建表语句如下。更多建表信息，请参见 表操作。CREATE TABLE IF NOT EXISTS s_auction(id ...
文档修订记录
管理控制台功能概览 2023.7.18 新增功能 数据集成 为您介绍如何LogHub（SLS）实时ETL同步至Hologres任务 LogHub（SLS）实时ETL同步至Hologres 2023.7.16 新增功能 数据建模 为您提供由派生指标通过运算规则进行计算而形成的复合指标，帮助...
2021年
云原生多模数据库Lindorm是面向物联网、互联网、车联网等设计和优化的，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和处理的云原生多模超融合数据库。在很多应用场景中需要把HBase增强版或者Lindorm的数据导入到MaxCompute...
通过Flink SQL模式配置ETL任务
Flink SQL是ETL为了简化计算模型、降低使用门槛而设计的一套符合标准SQL语义的开发语言。相对于DAG模式（可视化拖拽方式），Flink SQL的功能更为强大，您可在Flink SQL的命令窗口中输入DAG模式暂不支持的语法。本文将介绍如何通过Flink SQL...
通用资源
自定义函数 通过自定义函数功能，用户可以自定义ETL（Extract-Transform-Load）函数并管理，自定义函数与公共计算节点相关联，便于一般函数不满足的时候，使用自定义函数快速对数据进行ETL处理，便于在数据开发或者数据标准模块设计中使用...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
流式ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程通过DAG模式配置ETL任务 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中...
Scriptella
Library/scriptella-1.2/etl.xml"2019-12-4 15:02:32<详细>Executing script/etl/script[1]2019-12-4 15:02:33<详细>Executed statement drop table if exists `student_etl`.Update count:0 2019-12-4 15:02:33<详细>Script/etl/script[1...
查询ETL任务日志
调用DescribeEtlJobLogs接口查看ETL任务运行日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能在公测阶段，支持...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
alicloud_log_etl
(Optional)Job scheduling type,the default value is Resident.etl_type-(Optional)Log service etl type,the default value is ETL.status-(Optional)Log project tags.the default value is RUNNING,Only 4 values are supported:...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
ALIYUN:SLS:Etl
ALIYUN:SLS:Etl类型用于创建数据加工任务。语法 {"Type":"ALIYUN:SLS:Etl","Properties":{"Description":String,"Configuration":Map,"ProjectName":String,"Schedule":Map,"DisplayName":String,"Name":String } } 属性 属性名称 类型 ...
ETL工作流快速体验
DataWorks推出ETL工作流模板案例集，旨在帮助用户快速了解产品的最佳实践。您可以一键将案例导入至指定工作空间，快速还原案例，体验产品能力。注意事项 案例导入可能会产生少量费用，具体收费请以案例说明为准。案例提供的数据仅用于阿里...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
查询ETL任务详情
调用DescribeDtsEtlJobVersionInfo接口查看ETL任务详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
Quick BI数据准备功能报错：“Etl task execution ...
问题描述 Quick BI数据准备功能报错：“Etl task execution failed，reason：the agent task execution failed”。2023-01-31 10:33:44[INFO]Init etl task context,etlId:[92ffec58-0a6d-4a11-9e38-2c4d8973cc87],taskId:[t_308432_...
自定义函数开发指南
ETL日志 ETL调度日志 调度日志记录ETL任务开始时间、结束时间、任务是否成功以及成功返回的信息。如果ETL任务出错会生成ETL出错日志，并向系统管理员发送报警邮件或短信。请您在创建触发器时设置触发器日志Logstore，并为该Logstore开启并...
使用ETL分析实时订单
本文通过案例为您介绍如何使用ETL实现实时订单分析。应用场景 为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表...
新建连接模板
说明 您也可以在DTS控制台的 ETL 页面，单击 去DMS创建流式ETL。单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值为map类型，您可以使用下标运算符获取 etl_context 字段值中 project 的值。字段样例 etl_context:{ project:"datalab-148*6461-...
DTS任务中配置ETL典型应用
本文介绍在DTS任务中如何通过配置ETL，解决源实例与目标实例的数据不兼容问题和数据脱敏问题。前提条件 已创建源和目标数据库实例，本文以RDS MySQL间同步为例，创建方法，请参见 创建RDS MySQL实例。目标实例的存储空间须大于原实例占用的...
配置源库信息
前提条件 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、华南3（广州）和中国香港创建ETL任务。当前源库支持 MySQL、PolarDB MySQL、Oracle、PostgreSQL、DB2 iSeries(AS/400...
配置目标库信息
前提条件 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、华南3（广州）和中国香港创建ETL任务。当前目标库支持 MySQL、PolarDB MySQL、Oracle、AnalyticDB MySQL 3.0、...
数据准备快速入门
数据准备（轻量ETL）可以将数据源表或者数据集中的数据进行清洗、聚合、关联和合并等操作，并将加工后的数据输出，让不会写SQL代码的业务人员能够低成本完成BI可视化数据的准备。常规流程为在数据源模块建立数据库连接后，开发者将数据源表...
典型场景
具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据...
计算资源组管理
使用ETL资源组 ETL资源组可以根据不同访问方式配置参数compute-group指定资源组名称的方式使用。以下分别介绍几个主要应用场景中，通过参数配置ETL资源组。访问方式 配置资源组 通过DMS访问计算引擎 在配置管理作业时，在 作业配置 区域内...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
兼容性概览
以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具，以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...
计算资源使用
通过 set odps.task.wlm.quota=etl_3(i.e.use quota etl_3)命令指定了一个Quota etl_3，若 etl_3 设置了排他模式规则，且作业特征不匹配该规则，提交作业会报错（与普通规则的区别：若 etl_3 只有普通规则，此时作业是可以调度到 etl_3 中...
背景信息以及准备工作
您可以在DLA中创建OSS对应的Schema和文件表，对OSS中不同类型的文件数据进行清洗，然后将得到的结果数据写入AnalyticDB for MySQL 3.0，使得您可以在毫秒级针对...在DLA中建100张表，100张表分别做ETL，单个ETL任务失败，只重试单个ETL任务。
加工引擎启动错误
{"errorMessage":"ETL config doesn't pass security check,detail:XXXXXX"} 说明 错误日志可以在数据加工诊断报表的异常详情中或者internal-etl-log Logstore中查看。在加工引擎启动阶段产生错误时，加工任务会一直重试，直到重试成功或被...
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
数据存储冷热分层
假设执行用户为 etl_user，将数据库 etl 中的普通表 tiered_storage_heap_oss，设置在次日凌晨1点将普通表转冷。连接到 postgres 数据库，执行以下语句。SELECT cron.schedule('etl_table_transfer_to_cold','0 1*','SELECT pg_tiered_...
- 产品推荐
- 这些文档可能帮助您