DataWorks V3.0

DataWorks V3.0发布

DataWorks V3.0核心特性

• 支持多种计算引擎

  DataWorks V3.0全新升级了多引擎插件化架构，在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上，新增开源大数据引擎E-MapReduce、交互式分析和图计算服务（Graph Compute）等引擎服务。

  • MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见离线计算MaxCompute。

  • E-MapReduce：E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据引擎服务。

    DataWorks V3.0全面支持EMR引擎的相关功能，包括元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控和数据质量控制等。详情请参见E-MapReduce。

  • 交互式分析：交互式分析（Interactive Analytics）是一种全面兼容PostgreSQL协议，并与大数据生态无缝打通的实时交互式分析产品。

    交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索，可以让您快速对接现有的BI工具。

    DataWorks V3.0全新推出一站式OLAP开发平台Holo Studio，为您提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务，以及高效、便捷的开发服务，提升开发效率。详情请参见什么是实时数仓Hologres。

  • 图计算服务：图计算服务（Graph Compute，简称GCS）是新一代一站式图数据管理和分析平台，具有数据加载快、规模可扩展、查询延时低（毫秒级）、离线在线混合引擎和共享存储等优势。

    DataWorks V3.0全新推出图计算开发平台Graph Studio，为图应用开发者提供实例建模、数据导入、数据查询（Gremlin）、可视化分析等一站式的开发服务。详情请参见图计算服务Graph Compute。

• 支持多个引擎实例

  DataWorks V2.0的一个工作空间只能支持一个引擎实例。例如，对于MaxCompute引擎，一个工作空间仅支持创建一个MaxCompute项目。DataWorks V3.0的一个工作空间支持创建多个引擎实例（目前仅DataWorks专业版及以上版本支持），您可以更灵活地对业务所需要的计算引擎、计算任务和数据表等，进行统一管理。

• 任务资源组编排

  DataWorks V3.0将全新推出任务资源组编排，即提供批量设置任务资源组的功能，方便对任务资源组进行快速、批量调整。例如，从独享资源组批量切换至Serverless资源组。

• 工作空间导入导出

  DataWorks V2.0支持工作空间备份恢复，DataWorks V3.0升级该功能，推出更加灵活的导入导出工具。支持灵活选择导入或导出工作空间内的任务节点、表DDL、资源、函数和数据源等内容，以便您迁移工作空间的内容，或快速初始化工作空间。