Broker Load
CreateTime 分别表示导入创建的时间、ETL阶段开始的时间、ETL阶段完成的时间、LOADING阶段开始的时间和整个导入任务完成的时间。由于Broker Load导入没有ETL阶段，所以 EtlStartTime、EtlFinishTime 和 LoadStartTime 被设置为同一个值。...
Spark Load
broker.property_key Broker读取ETL生成中间文件时需要指定的认证信息等。创建资源示例如下所示。yarn cluster模式 CREATE EXTERNAL RESOURCE"spark0"PROPERTIES("type"="spark","spark.master"="yarn","spark.submit.deployMode"="cluster...
Spark Load
broker.property_key：broker读取ETL生成的中间文件时需要指定的认证信息等。参数示例。YARN Cluster模式 CREATE EXTERNAL RESOURCE"spark0"PROPERTIES("type"="spark","spark.master"="yarn","spark.submit.deployMode"="cluster","spark....
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
流式ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程通过DAG模式配置ETL任务 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中...
Scriptella
Library/scriptella-1.2/etl.xml"2019-12-4 15:02:32<详细>Executing script/etl/script[1]2019-12-4 15:02:33<详细>Executed statement drop table if exists `student_etl`.Update count:0 2019-12-4 15:02:33<详细>Script/etl/script[1...
查询ETL任务日志
调用DescribeEtlJobLogs接口查看ETL任务运行日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能在公测阶段，支持...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
alicloud_log_etl
(Optional)Job scheduling type,the default value is Resident.etl_type-(Optional)Log service etl type,the default value is ETL.status-(Optional)Log project tags.the default value is RUNNING,Only 4 values are supported:...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
通过Flink SQL模式配置ETL任务
Flink SQL是ETL为了简化计算模型、降低使用门槛而设计的一套符合标准SQL语义的开发语言。相对于DAG模式（可视化拖拽方式），Flink SQL的功能更为强大，您可在Flink SQL的命令窗口中输入DAG模式暂不支持的语法。本文将介绍如何通过Flink SQL...
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
ALIYUN:SLS:Etl
ALIYUN:SLS:Etl类型用于创建数据加工任务。语法 {"Type":"ALIYUN:SLS:Etl","Properties":{"Description":String,"Configuration":Map,"ProjectName":String,"Schedule":Map,"DisplayName":String,"Name":String } } 属性 属性名称 类型 ...
ETL工作流快速体验
DataWorks推出ETL工作流模板案例集，旨在帮助用户快速了解产品的最佳实践。您可以一键将案例导入至指定工作空间，快速还原案例，体验产品能力。注意事项 案例导入可能会产生少量费用，具体收费请以案例说明为准。案例提供的数据仅用于阿里...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
查询ETL任务详情
调用DescribeDtsEtlJobVersionInfo接口查看ETL任务详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
Quick BI数据准备功能报错：“Etl task execution ...
问题描述 Quick BI数据准备功能报错：“Etl task execution failed，reason：the agent task execution failed”。2023-01-31 10:33:44[INFO]Init etl task context,etlId:[92ffec58-0a6d-4a11-9e38-2c4d8973cc87],taskId:[t_308432_...
自定义函数开发指南
ETL日志 ETL调度日志 调度日志记录ETL任务开始时间、结束时间、任务是否成功以及成功返回的信息。如果ETL任务出错会生成ETL出错日志，并向系统管理员发送报警邮件或短信。请您在创建触发器时设置触发器日志Logstore，并为该Logstore开启并...
使用ETL分析实时订单
本文通过案例为您介绍如何使用ETL实现实时订单分析。应用场景 为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表...
新建连接模板
说明 您也可以在DTS控制台的 ETL 页面，单击 去DMS创建流式ETL。单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的...
Map映射函数和运算符
示例 日志服务数据加工日志中 etl_context 字段值为map类型，您可以使用下标运算符获取 etl_context 字段值中 project 的值。字段样例 etl_context:{ project:"datalab-148*6461-...
DTS任务中配置ETL典型应用
本文介绍在DTS任务中如何通过配置ETL，解决源实例与目标实例的数据不兼容问题和数据脱敏问题。前提条件 已创建源和目标数据库实例，本文以RDS MySQL间同步为例，创建方法，请参见 创建RDS MySQL实例。目标实例的存储空间须大于原实例占用的...
配置源库信息
前提条件 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、华南3（广州）和中国香港创建ETL任务。当前源库支持 MySQL、PolarDB MySQL、Oracle、PostgreSQL、DB2 iSeries(AS/400...
配置目标库信息
前提条件 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、华南3（广州）和中国香港创建ETL任务。当前目标库支持 MySQL、PolarDB MySQL、Oracle、AnalyticDB MySQL 3.0、...
数据准备快速入门
数据准备（轻量ETL）可以将数据源表或者数据集中的数据进行清洗、聚合、关联和合并等操作，并将加工后的数据输出，让不会写SQL代码的业务人员能够低成本完成BI可视化数据的准备。常规流程为在数据源模块建立数据库连接后，开发者将数据源表...
典型场景
具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据...
计算资源组管理
使用ETL资源组 ETL资源组可以根据不同访问方式配置参数compute-group指定资源组名称的方式使用。以下分别介绍几个主要应用场景中，通过参数配置ETL资源组。访问方式 配置资源组 通过DMS访问计算引擎 在配置管理作业时，在 作业配置 区域内...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
在DTS迁移或同步任务中配置ETL
数据传输服务DTS（Data Transmission Service）提供的流式数据ETL（Extract Transform Load）数据处理功能，结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换、加工和数据装载。本文介绍在DTS链路内配置ETL的操作步骤及相关...
设置意愿认证
意愿认证指通过人脸、声纹、语音等不同要素组合应用，验证本次身份认证为本人真实意愿操作，验证过程中会录音、录像。前提条件 您已经添加认证场景。具体操作，请参见 添加认证场景。新增意愿认证 登录 金融级实人认证控制台，在左侧导航栏...
查询认证记录
当您的用户使用您已集成的金融级实人认证应用，并完成认证后，您可以在 认证记录查询 页面查看调用明细。本文介绍如何查询金融级实人认证的认证记录。操作步骤 登录 金融级实人认证控制台。在左侧导航栏，选择 认证记录查询>金融级。在 ...
添加认证场景
本文介绍了如何在实人认证控制台为实人认证方案添加认证场景。添加实人认证场景 登录 实人认证管理控制台。说明 请使用阿里云账号或具有 AliyunYundunCloudAuthFullAccess 授权的RAM用户账号。关于创建RAM用户、给RAM用户授权和RAM用户登录...
号码认证最佳实践
号码认证服务（Phone Number Verification Service）整合三大运营商特有的数据网关认证能力，升级短信验证码方式，应用于用户注册、登录、安全校验等场景，具有用户无感知校验、操作更安全、便捷、低时延等特点。如果您要进行号码认证，...
实人认证方案
实人认证方案是依托活体检测、人脸比对等生物识别技术和证件OCR识别技术等进行的自然人真实身份校验。简介 实人认证方案主要包括如下能力：实名校验 用于验证用户证件信息，核实用户的姓名和身份证号码是否真实存在且匹配，防止身份造假，...
服务支持
SDK发布记录 金融级实人认证SDK发布记录 增强版实人认证SDK发布记录 常见问题 金融级实人认证常见问题 增强版实人认证常见问题 产品协议 金融级实人认证 金融级实人认证服务条款 金融级实人认证隐私政策 金融级实人认证服务等级协议 增强版...
数据统计
实人认证服务为您提供了数据统计功能。数据统计功能统计实人认证、活体人脸验证和人脸比对的认证数据。本文介绍了如何查看统计的数据。前提条件 已注册阿里云账号。更多信息，请参见 阿里云账号注册流程。阿里云账号已通过企业实名认证。更...
接入概述
本文介绍了增强版实人认证方案的接入流程。准备工作 接入增强版实人认证服务前，您必须完成以下准备工作：开通服务。添加认证场景。说明 基于不同业务场景，您可以在添加认证场景时，手动配置是否授权阿里云访问指定OSS存储空间用于存储...
接入流程
无线SDK和服务端接入适用您自身已有的手机App应用，且希望通过该App对用户进行线上认证的场景。本文介绍通过 App（SDK）接入 金融级多因子意愿认证 的流程。接入说明 阿里云为开发者提供了多种编程语言（Java、C#、Go、Python、Node.js/...
产品计费
产品功能 购买链接 号码认证 号码认证套餐包 短信认证 短信认证套餐包 融合认证（图形认证/通信认证）说明 融合认证-图形认证套餐包，只能抵扣融合认证（基于原子能力）下的图形认证和融合认证（基于场景）中的图形认证。融合认证-通信认证...
- 产品推荐
- 这些文档可能帮助您