什么是数据资源平台

阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。

数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建,基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力,提供标准化程度高、易用性强的一站式大数据管理平台。

依托数据资源平台,可设计高质量的标准化数据模型,减少重复开发工作,用户可全面了解数据质量、数据使用情况和系统运行情况,并从业务视角更直观地使用并探索数据,更高效地从数据中获取业务价值。

目前数据资源平台提供以下功能:

image.png

  • 协同

    • 数据同步:数据同步可实现离线、实时多源异构数据的便捷同步或接入,系统可提供完善的数据接入配置、 数据模板配置、数据同步任务运行监控等功能,有效保障数据接入的稳定性和可控性,满足各类平台、数据源及应用系统间的数据汇聚需求。

    • 空间数管:空间数据管理支持单文件、多文件、数据库等多种形态,矢量、栅格、瓦片、倾斜摄影等多种类型,不同格式的多源异构空间数据的接入和管理;支持本地上传、从OSS导入等多种方式添加数据;添加数据的同时支持各类型空间数据的元信息自动解析,支持按空间对平台所有空间数据进行统一检索、统计和管理。

    • 数据探查:提供对云计算资源中物理表的探查,快速了解物理表详情及分布情况。支持面向多种云计算资源中的表及字段进行预览和表数据自动探查,提供表级别、字段级别探查结果图表化展示。

    • 数据标准:提供逻辑表标准、字段标准(数据元、指标、维度、数据字典等)管理能力。帮助用户通过设计标准数据元素,定义关键业务对象、业务对象属性及值域定义,并规范标准数据字典,制定并管理平台遵循的统一数据标准,帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。

    • 数据建模:帮助用户在数据标准的约束下构建数据模型,将数据标准贯彻到数据质量分析、保障及检查的全过程中,将散乱的多源异构数据加工成标准、干净的数据资产,确保数据的完整性、一致性、准确性、可用性,通过客观量化评估指标帮助客户了解数据治理工作进程,指引数据治理工作的螺旋式上升过程。为了完成在云上积累可运营数据资源的目标,提供数据充分融合、数据高质量可用的必要保障。

    • 数据开发:支持对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等进行配置和管理,同时提供数据加工、算法服务任务流程开发、编排与调试、上线、部署、维护等功能。支持流式计算、批量离线计算等类型的计算节点在一个工作流中统一编排,通过可视化操作界面,通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑。支持通过空间算子编辑器零代码实现对空间数据的处理,包括地址空间化(依赖达摩院地址标准化产品)、坐标转换、矢量分析和计算、栅格分析和计算等。空间计算节点可作为节点任务统一编排到工作流,实现空间数据和非空间数据的融合治理及治理链路固化。

    • 空间服务:支持将空间数管中的各类型空间数据发布成行业标准的空间服务,支持发布OGC WMTS、WMS、WFS服务;TMS(MVT)矢量瓦片服务;S3M、3DTiles等标准的三维服务。同时支持通过SLD文件配置地图服务的样式风格。

    • 统一服务:是一款数据中台建设过程中的数据服务化组件,面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力;面向数据资产管理者提供服务的统计分析、服务用量统计分析能力,实现数据中台建设后半场“数据应用”的有效落地,支撑数据智能应用的高效开发。

    • 运维监控:对数据资源平台中的数据同步、数据开发、标签加工等任务进行运维管理。按业务链路配置监控场景,支持自定义监控链路和告警消息配置,可快速实现从数据生产到业务应用的全链路编排及溯源。

    • 质量评估:对数据模型中建立的逻辑表进行质量规则配置和管理,支持根据配置的质量规则在数据开发环节自动生成质量检测节点和设置自定义质量检查计划。提供面向不同计算资源多种类型质量规则,可通过数据质量监控报告展现系统整体数据质量概览,和多维度细分数据的质量情况。

    • 解决方案:对数据资源平台中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产进行导入导出,便于在不同环境中快速搭建数据治理工作的初始化。

  • 运营

    • 资产注册:支持平台侧需管理的数据表资产自动化注册功能,可对多个数据源端注册信息进行展示,并通过手动刷新方式同步元数据;同时,可自动上报数据表、标签和API资产的信息。

    • 资产目录:支持按资产类型分别维护资产,帮助资产目录内容提供者对各类资产进行管理维护,并针对资产进行编目分类及发布上下线管控。

  • 发现

    • 资产概览:提供统一的数据资源视图,以可视化的方式展示数据表、标签、API和指标等数据资产的总量与增量的信息。

    • 资产目录:对已接入上线的数据资产,可在资源目录对资产进行搜索、目录列表查看及资产详情信息展示。

  • 数据探索:数据探索面向行业客户/业务人员,提供工具内容一体化的业务模型构建平台,实现低代码、可视化构建全场景专家模型,重塑大数据服务创新模式。平台通过将业务数据沉淀为智能数据或智能算子,以可视化拖拉拽和简单图形化条件设定进行模型编排,支持离线、在线、实时全场景,采用简化建模过程、提高模型运行效能、融合智能化算法等方式帮助用户将数据与业务结合起来,不断积累和沉淀专家业务模型,服务于日常事件挖掘、实时预警事件、在线风险识别。

  • 我的资产:支持我可使用的、我可管理的、我已授权的数据资产及资产信息进行展示、管理。

  • 系统设置:数据资产平台的基础功能,包含账号管理、系统设置。该功能帮助用户快速、便捷完成用户角色及相应权限等基础配置,并实现必要的系统管理与控制,保障模块正常运转。