文档

数据服务概述

更新时间:

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。

前提条件

已购买数据服务增值服务并且当前租户已开通数据服务模块。

常见数据应用问题

一般从需求提出到需求交付分为:需求提出-需求分析-产品设计开发文档-开发人员进行开发-功能测试-功能上线-需求交付,整个过程需要安排迭代、开发、测试,时间周期约为两周,开发的接口针对性强,大多只能满足个别的业务分析需求。接口开发完成后,无法在线上监控数据接口的使用情况,当业务分析有调整后,需要重新提交需求,安排迭代开发。这就造成在数据应用存在以下问题:

  • 数据开发周期长,响应慢:需要按迭代排期实现,数据使用门槛高不能随时使用。

  • 烟囱式开发:开发成本高,复用性低,为每个需求提供对应的数据接口。

  • 数据安全和查询性能无法保障:在数据接口开发时往往只考虑数据的获取性,数据资源访问安全性和数据访问的稳定性考虑少。

  • 维护成本高:缺乏线上平台化管理,异常情况无法监控告警,线上业务问题暴露后再排查代码修复上线。

数据服务价值

为了解决常见的数据应用问题,在数据服务体系下,开发人员开发数据服务时,提供简易向导和灵活脚本两种模式,从而降低开发门槛、提高开发效率、统一代码质量,方便管理变更;业务人员应用数据服务时,提供安全、稳定的数据资源访问,避免敏感数据在应用侧的暴露。同时,支持数据服务的运维监控和告警,便于开发运维人员根据异常数据或告警通知,及时发现并修正问题。数据服务产品价值能力,概括为以下两点:

  • 数据服务创建能力:

    • 支持将单个物理表或多个物理表进行关联形成一张逻辑表,后续开发可以基于该逻辑表创建API。

    • 支持向导模式和脚本模式创建:简单的查询可以通过向导模式创建API;联表、查询条件复杂、数据处理逻辑复杂的,可以通过脚本自定义查询SQL创建API。

  • 数据服务管理和运维能力:

    • 支持草稿态、开发态、生产态隔离:开发态测试查询开发环境的数据,生产态调试查询生产环境数据。

    • 支持鉴权、资产转交等服务管理能力:服务调用申请,数据查询鉴权,资产负责人转交。

    • 支持服务超时、失败、限流等告警配置:实现钉钉机器人、邮件、短信、电话告警通知。

    • 服务调用异常统计监控:查看调用异常的服务和应用、调用趋势。

    • 服务调用日志明细查询;查看详细的异常报错信息、具体执行SQL内容等。

数据服务优势

  • 统一接口标准: 提供统一的数据接口标准和服务元信息,规范接口开发,减少下游应用对接工作量,提升数据接入效率低。

  • 数据安全与合规保障 :减少明细、敏感数据在应用侧的存储和暴露。使用统一平台数据安全管控策略,通过API申请调用、鉴权控流、白名单等手段,降低数据安全管控成本。

  • 运维监控:支持对数据服务调用统计、调用日志明细信息查询,为运维人员和开发人员排查问题,及时发现并修正数据服务的调用异常。

您可以通过数据服务平台来创建数据服务接口、调用服务、运维服务,管理服务的全生命周期。在平台系统上进行简单配置,便可自动生产和部署数据服务,从而提升效率。

功能介绍

数据服务支持基于业务数据源的物理表或Dataphin生成的逻辑表创建服务项目分组开发Dataphin数据源并加速数据查询,以满足不同场景的业务诉求。后续应用就可以调用API调用Dataphin数据源。同时数据服务支持运维监控API,便于您及时发现并处理调用API的异常情况。

数据服务支持读取物理表的数据源类型,请参见Dataphin支持的数据源

应用场景

数据服务的典型应用场景如下:

  • 建立企业的API生态,例如开放API给合作伙伴、开发者等,帮助企业实现数据的资产化和价值化。

  • Dataphin数据源可以作为Quick BI的数据源,对业务数据进行展示、分析、探查和制作报表等

场景及使用流程

在开始使用数据服务前,需要您了解数据服务的使用场景,及在不同场景下对应角色的操作流程。gagaga

入口介绍

在Dataphin首页,单击服务,系统默认进入市场页面。

image