< 文档首页
智能数据构建与管理 Dataphin
  • 新功能更新记录
    • 版本历史
    • 文档最新动态
    • 公告
  • 产品简介
    • 什么是Dataphin
    • 应用场景
    • 基本概念
    • 使用限制
  • 产品计费
    • 购买指引
    • 计费说明
    • 升级
    • 到期提醒与停机策略
    • 续费
  • 准备工作
    • 准备阿里云账号
    • 创建RAM用户
    • 开通Dataphin
    • 配置AccessKey
    • 创建项目空间
  • 快速入门
    • Dataphin使用流程
    • 步骤一：准备工作
    • 步骤二：规划数仓
    • 步骤三：集成数据
    • 步骤四：规范定义
    • 步骤五：规范建模
    • 步骤六：开发环境补数据
    • 步骤七：验证数据
    • 步骤八：发布任务
    • 步骤十：查看运行结果
    • 步骤九：生产环境补数据
  • 使用教程
    • 基于Dataphin构建数据仓库
      • 数仓构建流程
      • 数据调研
        • 确定需求
        • 分析业务过程
      • 架构设计与规范定义
        • 划分数据域
        • 定义维度与构建总线矩阵
        • 明确统计指标
      • 模型设计
        • 技术架构选型
        • 数仓分层
        • 数据引入层（ODS）
        • 维度层（DIM）
        • 明细数据层（DWD）
        • 汇总数据层（DWS）
      • 主题式查询
    • 基于电商销售场景构建偏好标签
      • 概述
      • 步骤一：创建数据表
      • 步骤二：创建行为元素
      • 步骤三：创建行为规则
      • 步骤四：补数据
      • 步骤五：创建商品价格偏好标签
      • 步骤六：创建商品类目偏好标签
      • 步骤七：查询偏好数据
    • 面向零售店铺的模型构建与管理
      • 概述
      • 步骤一：规划数仓
      • 步骤二：创建数据表
      • 步骤三：规范定义
      • 步骤四：规范建模
      • 步骤六：补数据
      • 步骤五：发布任务
      • 步骤七：验证数据
      • 步骤八：创建质量规则
      • 步骤九：查看质量报告
  • 管理控制台
    • 管理控制台介绍
  • 权限管理
    • 概述
    • 管理中心权限列表
    • 通知中心权限列表
    • 告警中心权限列表
    • 数仓规划权限列表
    • 数据引入权限列表
    • 数据开发权限列表
    • 数据萃取权限列表
    • 任务发布权限列表
    • 运维中心权限列表
    • 数据质量权限列表
    • 数据权限的权限列表
    • 数据安全权限列表
    • 数据治理权限列表
    • 数据服务权限列表
  • 全局管理
    • Dataphin首页
    • 资源用量统计
      • 查看资源用量
    • 管理中心
      • 概述
      • 成员管理
      • 设置Dataphin实例的计算引擎
      • 智能引擎
        • 数据倾斜优化
        • 配置自定义任务参数
    • 通知中心
      • 查看消息中心
      • 查看任务中心
    • 告警中心
      • 概述
      • 基本概念
      • 告警事件
      • 推送记录
      • 管理值班表
  • 数仓规划
    • 概述
    • 业务板块
      • 新建业务板块
      • 新建数据域
      • 编辑板块参数
    • 管理统计周期
    • 计算源
      • 概述
      • 新建MaxCompute计算源
      • 新建AnalyticDB For PostgreSQL计算源
      • 新建Flink计算源
      • 管理计算源
    • 创建项目空间
      • 创建Prod和Dev项目空间
      • 创建Basic项目空间
    • 管理项目空间的权限和计算源
    • 维护升级
      • 升级注意事项
      • 维护和升级业务板块
    • 数据源
      • 概述
      • 新建离线数据源
      • 新建实时数据源
      • 管理数据源
  • 数据引入
    • 概述
    • 数据集成
      • 概述
      • 管理管道脚本文件夹
      • 上传管道脚本
      • 离线单条管道
        • 配置离线单条管道
        • 编辑离线单条管道
        • 重命名离线单条管道
        • 移动离线单条管道
        • 查看历史信息
        • 下线和删除离线单条管道
      • 离线整库迁移
        • 配置离线整库迁移
        • 操作离线单条管道
        • 重命名离线整库迁移
        • 删除离线整库迁移
      • 自定义组件
        • 新建自定义组件
        • 应用自定义组件
      • 组件说明
        • 组件库-输入组件
        • 组件库-转换组件
        • 组件库-流程组件
        • 组件库-输出组件
    • 数据同步
      • 概述
      • 新建同步任务文件夹
      • 新建同步目标表
      • 新建同步任务
      • 配置同步任务
      • 调度配置
      • 执行同步任务
      • 验证同步任务
  • 数据开发
    • 概述
    • 规范建模
      • 概述
      • 规范定义-维度
        • 新建维度
        • 查看维度逻辑表
        • 编辑维度
        • 继承维度
        • 下线和删除维度
      • 规范定义-业务过程
        • 新建业务过程
        • 编辑业务过程
        • 克隆业务过程
        • 创建逻辑表
        • 查看相关事实逻辑表
        • 删除业务过程
      • 逻辑表-维度逻辑表
        • 添加关联维度、属性和子维度
        • 编辑字段的计算逻辑
        • 编辑模型关系
        • 定义公用计算逻辑
        • 编辑字段
        • 物理化配置
        • 调度配置
        • 参数配置
        • 查看历史信息
        • 下线和删除维度逻辑表
      • 逻辑表-事实逻辑表
        • 新建事实逻辑表
        • 物理化配置
        • 调度配置
        • 修改事实逻辑表
        • 查看历史信息
        • 下线和删除事实逻辑表
      • 规范定义-原子指标
        • 新建原子指标
        • 修改原子指标
        • 查看同源原子指标
        • 克隆原子指标
        • 查看相关派生指标
        • 创建派生指标
        • 下线和删除原子指标
      • 规范定义-业务限定
        • 新建业务限定
        • 克隆业务限定
        • 修改业务限定
        • 查看同源业务限定
        • 查看相关派生指标
        • 下线和删除业务限定
      • 规范定义-派生指标
        • 新建派生指标
        • 修改派生指标
        • 下线和删除派生指标
        • 查看相关汇总逻辑表
      • 逻辑表-汇总逻辑表
        • 新建汇总逻辑表
        • 物理化配置汇总逻辑表
        • 编辑汇总逻辑表
        • 查看汇总逻辑表的详情
        • 删除汇总逻辑表
      • 规范建模-建模引擎
    • 数据处理
      • 概述
      • 新建资源
      • 新建用户自定义函数
      • 新建MAXC任务
        • 新建SQL任务
        • 新建MapReduce任务
        • 新建Spark任务
      • 新建FLINK任务
        • 新建镜像表
        • 新建元表
        • 新建自定义源
        • 新建代码模板
        • 新建Flink_SQL任务
        • 新建Flink_Template_SQL计算任务
        • 新建Flink_DataStream计算任务
      • 新建ADB任务
        • 新建ADB for PostgreSQL任务
        • ADB for PostgreSQL支持的语法
      • 新建通用任务
        • 新建Shell任务
        • 新建Virtual任务
        • 新建Python任务
      • 调度配置
      • 管理计算任务
    • MaxCompute的SQL及函数
      • 常用命令
      • SQL使用限制
      • 数据类型
      • 运算符
      • DDL语句
      • DML操作
      • DQL操作
    • 即席查询
      • 概述
      • 运行即席查询任务并下载数据
      • 管理即席查询
  • 数据萃取
    • 概述
    • 行为中心
      • 概述
      • 行为域
        • 新建行为域
        • 编辑行为域
        • 删除行为域
      • 管理业务线
      • 管理动作
      • 管理对象
      • 管理对象属性
      • 新建行为规则
      • 管理行为规则
      • 查看行为数据
    • 标签中心
      • 管理工厂标签
      • 标签逻辑表
      • 管理标签类目
      • 新建工厂标签
  • 任务发布
    • 管理发布任务
  • 运维中心
    • 概述
    • 运维大盘
      • 实例统计
      • 异常统计
    • 任务运维
      • 周期任务
        • 通用功能说明
        • 脚本任务
        • 逻辑表任务
        • 萃取任务
      • 手动任务
      • 实时任务
    • 实例运维
      • 周期实例
        • 通用功能说明
        • 脚本实例
        • 逻辑表实例
        • 萃取实例
      • 补数据实例
        • 通用功能说明
        • 通用补数据实例
        • 萃取补数据实例
      • 手动实例
      • 实时实例
    • 监控报警
      • 离线监控配置
      • 实时监控配置
  • 资产中心
    • 概述
    • 全景
    • 数据地图
      • 资产地图
      • 数据详情
    • 资产质量
      • 数据质量概述
      • 基本概念
      • 全局概况
      • 创建校验数据表的质量规则
      • 新建数据源规则
      • 新建实时元表规则
      • 校验记录
      • 查看质量报告
    • 权限管理
      • 我的权限
        • 管理逻辑表权限
        • 管理物理表权限
        • 管理数据源权限
        • 管理元表权限
        • 管理函数权限
        • 管理镜像表权限
        • 操作功能权限
        • 数据服务权限
          • 管理应用权限
          • 管理服务单元权限
          • 管理Dataphin数据源权限
          • 管理API权限
      • 我管理的
        • 操作业务板块权限
        • 操作项目权限
        • 操作数据源权限
        • 操作功能权限
        • 数据服务权限
          • 管理应用权限
          • 管理服务单元权限
          • 管理Dataphin数据源
      • 归属我的
        • 配置和转交功能权限
    • 资产安全
      • 安全概览
      • 管理识别记录
      • 管理识别规则
      • 管理数据分类
      • 管理数据分级
      • 脱敏规则
        • 管理动态脱敏规则
        • 管理动态脱敏白名单
        • 静态脱敏
      • 管理脱敏算法
      • 管理密钥
    • 数据治理
      • 治理概述
      • 资源分析
      • 治理概览
        • 治理效果
        • 治理分析
      • 管理治理工作台
      • 治理项管理
        • 治理项管理流程
        • 元数据注册
        • 治理项管理
        • 推送管理
        • 任务管理
      • 回收站列表
  • 数据服务
    • 概述
    • 基本概念
    • 进入数据服务
    • 准备工作
      • 添加成员
      • 配置网络
    • 消费API
      • 开发API
        • 新建分组
        • 新建元数据
        • 新建服务单元
        • 新建API
        • 测试与发布API
      • 应用API
      • 监控API
    • 消费Dataphin数据源
      • 开发Dataphin数据源
      • 应用Dataphin数据源
  • 最佳实践
    • 数据集成
      • 一键生成目标表
      • 自定义并应用RDBMS数据库组件
    • 数据研发
      • 规范定义最佳实践
      • DataX同步数据
      • 使用Python读文件
      • Java UDF最佳实践
  • 常见问题
    • 错误码
    • 数据开发
  • 相关协议
    • Dataphin服务等级协议（SLA）
  • 视频专区
    • Dataphin快速入门
    • 资产质量介绍
    • 资产地图介绍
    • 运维中心介绍
    • 数据集成-自定义组件介绍
    • 数据服务操作指导
    • 数据集成操作指导
全部产品
弹性计算
  • 云服务器 ECS
  • 轻量应用服务器
  • GPU云服务器
  • FPGA云服务器
  • 专有宿主机
  • 弹性容器实例
  • 无影云桌面
  • 弹性高性能计算E-HPC
  • 批量计算
  • 弹性伸缩
  • 资源编排
  • 运维编排服务
  • 服务器迁移中心
  • 弹性加速计算实例EAIS
  • 函数计算
  • Serverless应用引擎
  • Serverless工作流
  • 云盒
存储
  • 阿里云存储服务
  • 对象存储 OSS
  • 日志服务
  • 文件存储 NAS
  • 文件存储 CPFS
  • 文件存储 HDFS
  • 数据库文件存储
  • 相册与网盘服务
  • 表格存储 Tablestore
  • 智能媒体管理
  • 离线迁移服务（闪电立方）
  • 在线迁移服务
  • 混合云备份服务
  • 混合云容灾服务
  • 云存储网关
  • 混合云存储阵列
  • 智能云相册
数据库
  • PolarDB MySQL 云原生数据库
  • PolarDB-O 云原生数据库
  • PolarDB PostgreSQL 云原生数据库
  • PolarDB-X 云原生分布式数据库
  • 云数据库 RDS
  • 云数据库 OceanBase
  • 云数据库专属集群 MyBase
  • 云原生多模数据库 Lindorm
  • 云数据库 Redis
  • 云数据库 MongoDB
  • 云数据库 HBase
  • 云数据库 Cassandra
  • 时序数据库 TSDB
  • 图数据库 GDB
  • 云数据库 Memcache
  • 可信账本数据库 LedgerDB
  • 云原生数仓 AnalyticDB MySQL
  • 云原生数仓 AnalyticDB PostgreSQL
  • 云数据库 ClickHouse
  • 云原生数据湖分析 DLA
  • 数据传输服务 DTS
  • 数据管理 DMS
  • 数据库备份 DBS
  • 数据库自治服务 DAS
  • 数据库网关 DG
  • 数据库专家服务
  • 数据库和应用迁移服务 ADAM
  • HybridDB for MySQL
安全
  • 阿里云安全产品和技术
  • DDoS防护
  • Web 应用防火墙
  • SSL证书服务
  • 云安全中心
  • 云防火墙
  • 堡垒机
  • 漏洞扫描
  • 操作审计
  • 终端访问控制系统
  • 访问控制
  • 应用身份服务
  • 数据库审计
  • 加密服务
  • 数据安全中心
  • 内容安全
  • 密钥管理服务
  • 风险识别
  • 实人认证
  • 游戏盾
  • 安全管家
  • 先知（安全众测）
  • 安骑士
  • 阿里云验证码
  • 金融级实人认证
  • 智能核身（增强版）
  • 云安全访问服务
  • 威胁情报
  • 特权访问服务
大数据
  • MaxCompute
  • E-MapReduce
  • 阿里云Elasticsearch
  • 数据湖构建
  • 实时计算Flink版
  • 交互式分析Hologres
  • Databricks数据洞察
  • 开放搜索
  • 图计算服务
  • DataWorks
  • 智能数据构建与管理 Dataphin
  • Quick BI
  • DataV数据可视化
  • 智能推荐
  • 智能用户增长
  • 数据资源平台
  • DataHub
  • Quick A+
  • 隐私增强计算
人工智能
  • 机器学习PAI
  • 卫星及无人机遥感影像分析产品
  • 图像搜索
  • 视觉计算服务
  • 智能视觉生产
  • 城市视觉智能引擎
  • 多媒体AI
  • 智能语音交互
  • 印刷文字识别
  • 自然语言处理
  • 交通云控平台
  • 工业大脑开放平台
  • 机器翻译
  • 人工智能众包
  • 全息空间
  • 视频内容检索
  • 语言协同平台
  • 三维空间重建
  • 阿里云视觉智能开放平台
  • 基因分析平台
网络与CDN
  • 网络介绍
  • 专有网络 VPC
  • 云解析 PrivateZone
  • 负载均衡
  • NAT 网关
  • 弹性公网 IP
  • IPv6转换服务
  • 共享带宽
  • 共享流量包
  • 云企业网
  • 全球加速
  • 智能接入网关
  • 高速通道
  • CDN
  • 全站加速
  • SCDN
  • PCDN
  • 边缘节点服务ENS
  • IPv6网关
  • VPN网关
  • 私网连接 PrivateLink
  • 任播弹性公网IP
  • 云网管
视频服务
  • 视频直播
  • 视频点播
  • 音视频通信
  • 云视频会议
  • 媒体处理
  • 视图计算
  • 智能视觉
  • 智能媒体生产
容器与中间件
  • 容器服务Kubernetes版
  • 服务网格 ASM
  • 容器镜像服务 ACR
  • 企业级分布式应用服务 EDAS
  • 微服务引擎MSE
  • 应用配置管理 ACM
  • 全局事务服务 GTS
  • 云服务总线CSB
  • 消息队列RocketMQ版
  • 事件总线EventBridge
  • 消息队列Kafka版
  • 消息队列RabbitMQ版
  • 微消息队列MQTT版
  • 消息服务MNS
  • 分布式任务调度 SchedulerX
开发与运维
  • 应用实时监控服务ARMS
  • Prometheus监控
  • 云监控
  • 应用高可用服务 AHAS
  • 智能顾问
  • Node.js 性能平台
  • 链路追踪Tracing Analysis
  • Web应用托管服务
  • 性能测试 PTS
  • 移动测试
  • 应用发现服务
  • 移动研发平台EMAS
  • 移动DevOps
  • 移动热修复
  • 崩溃分析
  • 性能分析
  • 远程日志
  • 移动推送
  • 移动数据分析
  • 移动用户反馈
  • HTTPDNS
  • OpenAPI Explorer
  • 云命令行
  • 逻辑编排
  • Alibaba Cloud Toolkit
  • 云效
  • 云效2020
  • 资源管理
  • 小程序云
  • 全局流量管理
  • 配置审计
  • 管理控制台
  • IT治理样板间
  • 云架构设计工具
  • 配额中心
API与工具
  • 阿里云CLI
  • .NET SDK
  • Ansible
  • 阿里云交易和账单管理API
  • 云开发平台
  • CodePipeline
  • Go SDK
  • Java SDK
  • Node.js SDK
  • PHP SDK
  • Pulumi
  • Python SDK
  • 集成开发最佳实践
  • Terraform
  • 工单系统API
物联网
  • 阿里云物联网平台
  • 设备接入Link SDK
  • IoT物联网操作系统
  • IoT设备身份认证
  • 物联网应用开发
  • 物联网数据分析
  • 物联网边缘计算
  • 物联网视频服务
  • 物联网络管理平台
  • 物联网无线连接服务
  • IoT安全运营中心
  • IoT可信执行环境
  • IoT固件安全检测
  • IoT安全解决方案
  • IoT可信服务管理
  • 生活物联网平台
  • AIoT能力中心
  • 物联网应用托管服务
  • 物联网应用服务
  • 智联车管理云平台
物联网行业方案
  • 工业互联网平台
  • 阿里云IoT技术认证
  • 数字社区平台
  • 线下广告投放平台
  • AIoT数字园区引擎
专有云
  • 企业版
  • 敏捷版
  • 一体机
专有云（线下）
  • 移动研发平台EMAS-专有云
  • Native DevOps
  • 跨平台 DevOps
  • 移动API网关
  • 通道服务
  • 远程配置
  • 移动监控
  • 移动测试
  • 移动热修复
  • 移动数据分析
  • 移动推送
企业应用与服务
  • Teambition
  • 云投屏
  • 机器人流程自动化RPA
  • 云行情
  • 工业视觉智能
  • 货架商品识别与管理
  • 专有钉钉
  • 地址标准化
  • IP地理位置库
  • 云游戏平台
  • 备案
  • 云 AP
  • API 网关
  • 邮件推送
  • 云价签
  • 专属钉钉解决方案
  • 区块链服务 BaaS
  • 可信计算服务
  • 分布式数字身份
  • 跨链数据连接服务
  • 短信服务
  • 语音服务
  • 智能联络中心
  • 号码隐私保护
  • 号码认证服务
  • 号码百科
  • 云通信网络加速
  • 云呼叫中心
  • 智能对话机器人
  • 智能外呼机器人
  • 智能语音导航
  • 智能对话分析
  • 云客服
  • 智能双录质检
  • Linkedmall
  • 鹿班
  • 智能数据助理
  • 云市场
  • 云码（广告营销）
  • 3D全景网站
  • 云手机
  • 新零售智能助理
数字金融
  • 移动开发平台 mPaaS
  • 金融分布式架构 SOFAStack
  • SOFAStack 微服务
  • SOFAStack API 统一网关
  • 金融云
域名与网站
  • 域名
  • 云虚拟主机
  • 云解析 DNS
  • 阿里云公共DNS
  • 企业邮箱
  • 弹性 Web 托管
  • ICP许可证
  • EDI许可证
  • 食品经营许可证
  • 云·速成美站
  • 云·企业官网
  • 资质管家服务
  • 网络文化经营许可证（文网文）
  • CDN经营许可证
  • IDC经营许可证
  • SP经营许可证
  • ISP经营许可证
  • 高新技术企业认定
工商财税与知识产权
  • 阿里云商标服务
  • 工商注册服务
  • 工商变更
  • 工商注销
  • 软件著作权登记
  • 图片服务
  • 代理记账
  • 智能logo设计
  • 智能财税
解决方案
  • SAP 解决方案
  • 通用解决方案
  • 阿里政务云
  • MindSphere on Alibaba Cloud
会员服务
  • 财务
  • 用户中心
  • 账号管理
  • 费用中心
  • 会员积分
  • 活动
  • 云大使推荐返现
  • 飞天会员
更多
  • 支持与服务
  • 阿里云App
  • 阿里云图标
  • 法律条款
  • 阿里云规则
  • 阿里云集成转售解决方案
  • Red Hat云接入和Windows许可证
  • 阿里云认证
  • 首页 > 
  • 智能数据构建与管理 Dataphin > 
  • 视频专区 > 
  • 数据集成-自定义组件介绍
搜本产品
搜全站

    数据集成-自定义组件介绍

    更新时间：2021-05-10 10:10

    我的收藏
    新浪微博 微信 钉钉
    本页目录
    上一篇：
    下一篇：
    以上内容是否对您有帮助？

    在文档使用中是否遇到以下问题

    • 内容错误
    • 更新不及时
    • 链接错误
    • 缺少代码/图片示例
    • 太简单/步骤待完善
    • 其他
    • 内容错误
    • 更新不及时
    • 链接错误
    • 缺少代码/图片示例
    • 太简单/步骤待完善
    • 其他

    更多建议

    匿名提交
    感谢您的打分，是否有意见建议想告诉我们？
    感谢您的反馈，反馈我们已经收到
    文档反馈
    鼠标选中内容,快速选择问题
    选中存在疑惑的文档内容，即可生成截图进行反馈，我们会跟进处理。
    好的，知道了
    文档反馈