全部产品

数据研发概述

更新时间:2020-09-14 18:09:22

数据研发模块分为研发以及运维两大部分。

  • 使用条件:该模块仅在Quick Audience标准版基础上联合购买Dataphin离线集成版时可用,完成购买后需要购买Quick Audience的阿里云主账号登陆系统,在配置管理中完成研发初始化后方可使用数据研发模块功能,研发初始化请参见研发初始化

  • 使用权限:仅支持Quick Audience系统成员中的管理员(购买Quick Audience阿里云主账号)以及具有“数据研发-开发者”角色的成员使用,角色授予请参见角色管理

  • 使用入口:在Quick Audience中可选两种方式进入“数据研发”模块 。

    1. 通过点击Quick Audience首页顶部导航栏的“数据研发”。

      1

    2. 在Quick Audience其他模块顶部导航栏左侧收起位置,点击“数据研发”。

      1

研发

研发模块提供数据同步以及数据处理的能力。

  1. 数据同步:致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。支持通过简单的拖拽、配置并组装组件的方式,生成管道脚本。同时系统也支持对管道脚本进行运维配置,包括调度配置和管道配置。

  2. 数据处理:致力于提供高效数据构建平台,通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的任务。主要提供离线数据处理能力,用于执行数据研发过程中的离线计算任务,同时管理数据研发过程中使用的函数和文件。

运维

运维模块基于数据同步以及数据处理生成的代码任务进行调度与运维管控,运维模块包括任务运维以及实例运维两个部分。

  1. 任务运维:任务是指可以被生产环境调度的运行对象。即您在开发环境中提交、发布上线的代码或脚本通过周期、手动触发的方式在生产环境运行。 任务又称为节点,Quick Audience在调度运维中将节点分为两种:

    1. 离线周期任务:这类节点会配置调度周期,作业调度系统会周期性地调度这类节点,每次节点被调度时都会生成对应的周期实例。

    2. 离线手动任务:这类节点不会被系统自动触发,您可以根据需要自己手动运行对应的节点,每次运行手动节点会生成对应的手动实例。

  2. 实例运维:节点每运行一次生成一个实例。实例有三种不同的生成方式:

    1. 离线周期实例:周期节点自动被系统调度触发生成,具有周期性。

    2. 离线补数据实例:对节点进行补数据操作时产生。

    3. 离线手动实例:运行手动节点生成。