全部产品

数据研发概述

更新时间:2021-01-22 09:15

数据研发模块分为研发以及运维两大部分。

  • 使用条件:该模块仅在Quick Audience标准版基础上联合购买Dataphin离线集成版时可用。购买后,需要购买者主账号登录Quick Audience(该账号默认为组织管理员),在配置管理中完成研发初始化后,方可使用数据研发模块功能,研发初始化请参见研发初始化

  • 使用权限:仅支持购买者主账号,以及购买者主账号在研发初始化时选择的研发成员使用。

  • 使用流程

    1. 添加若干业务数据源,用于连接企业一方的数据库,请参见业务数据源

    2. 绑定一个计算引擎源,为离线数据的处理提供计算及存储资源,请参见计算引擎源

    3. 进行数据研发,研发过程中,根据需要配置Shell、Python任务可以访问的IP地址或域名,请参见配置沙箱白名单

  • 使用入口:在Quick Audience中可选两种方式进入数据研发模块。

    • 在Quick Audience首页从顶部导航栏选择数据研发首页

    • 在任意页面从左上角的下拉菜单选择数据研发任意页

研发

研发模块提供数据同步以及数据处理的能力。

  • 数据同步:致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。支持通过简单的拖拽、配置并组装组件的方式,生成管道脚本。同时系统也支持对管道脚本进行运维配置,包括调度配置和管道配置。

  • 数据处理:致力于提供高效数据构建平台,通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的任务。主要提供离线数据处理能力,用于执行数据研发过程中的离线计算任务,同时管理数据研发过程中使用的函数和文件。

运维

运维模块基于数据同步以及数据处理生成的代码任务进行调度与运维管控,运维模块包括任务运维以及实例运维两个部分。

  • 任务运维:任务是指可以被生产环境调度的运行对象。即您在开发环境中提交、发布上线的代码或脚本通过周期、手动触发的方式在生产环境运行。任务又称为节点,Quick Audience在调度运维中将节点分为两种:

    • 离线周期任务:这类节点会配置调度周期,作业调度系统会周期性地调度这类节点,每次节点被调度时都会生成对应的周期实例。

    • 离线手动任务:这类节点不会被系统自动触发,您可以根据需要自己手动运行对应的节点,每次运行手动节点会生成对应的手动实例。

  • 实例运维:节点每运行一次生成一个实例。实例有三种不同的生成方式:

    • 离线周期实例:周期节点自动被系统调度触发生成,具有周期性。

    • 离线补数据实例:对节点进行补数据操作时产生。

    • 离线手动实例:运行手动节点生成。