旧版DataStudio升级至新版Data Studio

为适应云原生技术演进、满足日益复杂的数据处理场景需求,并应对现有架构在可扩展性、维护性及用户体验方面的挑战,DataWorks数据开发(Data Studio)正在进行一次全面的架构升级。本次升级旨在构建一个面向未来的、高性能、高可用的数据智能开发平台,为用户提供更高效、更智能、更统一的数据开发与治理体验。

重要

如升级过程中遇到问题,可在DataWorks数据开发升级到新版专属答疑群获取技术支持。

一、升级背景

DataWorks 的原有技术架构构建于十六年前,虽在批处理时代满足了核心需求,但随着技术栈和业务场景的演进,其局限性日益凸显。本次升级主要由以下三大因素驱动:

应对架构演进的技术要求

  • 湖仓一体化架构支持:现有架构需升级以原生支持从传统数仓向湖仓一体(Lakehouse)的平滑演进,统一元数据管理与数据处理。

  • 离线与实时一体化:为应对业务实时性要求,新架构必须提供统一的开发范式与元数据视图,无缝融合离线批处理与实时流计算。

  • AI 与大语言模型 (LLM) 的原生集成:新架构需具备原生能力,将机器学习、深度学习及自然语言处理等AI能力深度集成到数据开发全流程中。

解决现有架构的技术挑战

  • 单体式与批处理为核心的设计局限:原有架构基于早期单体式设计,核心面向批处理场景,对云原生(Cloud-Native)及流式计算的支持存在先天不足,限制了平台的弹性与性能。

  • 可扩展性与维护性瓶颈:高耦合的模块设计导致新功能迭代周期长、维护成本高,已难以满足大规模并发访问及业务的个性化扩展需求。

满足演进的用户需求

  • 支撑大规模与复杂工作流:为满足数万活跃用户及 EB 级数据的处理需求,新架构需提供更高的稳定性、吞吐能力与资源隔离性。

  • 提升开发效率与智能化水平:用户期望获得媲美本地 IDE 的流畅开发体验,新架构将引入智能化的代码辅助、性能诊断与一键发布等功能,显著降低数据开发的技术门槛。

二、升级范围

模块

变更内容

数据开发 (DataStudio)

仅限用户界面 (UI) 和交互体验 (UX) 的产品升级。

重要

运维中心、发布中心等其他产品模块和本升级无关,不在升级范围内。

三、升级影响

对现有业务的影响

项目

影响说明

已发布的生产任务

零影响。 保证所有线上任务的调度与执行将继续稳定运行,不受任何干扰。

数据开发核心功能

完整保留并增强。 节点类型、函数支持、核心编辑与执行能力等均被完整保留,并在新版中获得性能和体验优化。

用户资产迁移

资产类型

迁移方案

已有节点 (例如 MaxCompute SQL、Shell等)

支持一键迁移至新版界面。

自定义函数 (UDF)

资源文件 (例如.jar.py .txt

组件

临时查询

四、功能迁移详解

新版数据开发(Data Studio)对旧版数据开发功能进行了重新整合和优化。以下将以旧版数据开发为起点,逐一说明旧版数据开发中每个功能模块在新版IDE中的新位置和功能变化:

4.1 数据开发模块

4.1.1. 解决方案

  • 旧版: 独立的“解决方案”菜单,用于组织和管理相关的业务流程。

    image.png

  • 新版: 升级为“专注模式”,任意文件目录均可选择进入专注模式,提供更沉浸式更加灵活的开发体验。

    image.png

4.1.2. 业务流程

  • 旧版: 固定的目录层级;支持业务流程看板。

    image.png

  • 新版: 支持用户按需新建目录,可按需灵活打标为旧版业务流程目录的内容。

    image.png

    image.png

  • 新版:业务流程看板,升级为目录看板,任意目录均可支持“查看”能力。

    image.png

  • 新版:如需使用流程编排能力,可使用新版数据开发的“周期调度工作流”。

    image.png

4.1.3. 节点开发

  • 旧版: 仅展示可用的节点类型,无法感知DataWorks支持的其他节点类型,也无法在绑定引擎之前写其他类型节点的开发代码。

    image.png

  • 新版: 整合到数据开发-项目目录中,能看到所有节点类型,支持先编写代码再绑定引擎;新建节点交互仍在持续优化,节点创建及编码体验会更好。

    image.png

4.1.3.1 运行/带参运行
  • 旧版: “运行”、“带参运行”两个按钮分开;点击带参运行时,选择运行资源组和自定义参数。

    image.png

  • 新版:

    • 将旧版“运行”、“带参运行”两个按钮,收缩为新版的“运行”一个按钮。

    • 旧版中“引擎实例”,依节点类型而定,至多拆分为数据源和计算资源:

      • 数据源:用于智能代码编辑器中的元数据联想。

      • 计算资源:用于确定代码调试所用的计算资源。

    • 旧版弹窗中“运行资源组”,变更至调试配置中的“资源组”。

    • 旧版“带参运行”弹窗中“自定义参数”,变更至调试配置中的“参数”。

    • “调试配置”在节点右侧常驻,每次代码运行时所需的计算资源/资源组/参数均从调试配置中取值。

    image.png

4.1.3.2 冒烟测试/查看冒烟测试记录
  • 旧版:提交成功后才可发起冒烟测试。

    image.png

    image.png

  • 新版:

    • 标准模式:发布成功至开发环境后(对应旧版的提交成功)才可发起冒烟测试。

    • 简单模式:发布成功至生产环境后(对应旧版的提交成功)才可发起冒烟测试。

    image.png

4.1.3.3 代码评审/查看代码评审记录
  • 旧版:直接在节点工具栏上面看到相关按钮。

    image.png

  • 新版:发布过程中,在生产检查器环节可发起代码评审。在左侧目录树中,点击查看代码评审列表。

    image.png

    image.png

4.1.3.4 提交/提交并允许他人编辑
  • 旧版

    image.png

    image.png

  • 新版:旧版中的“提交”变更为新版的“发布”。在新版中支持有权限的用户直接发布,标准模式也支持将任务打包发布至发布中心。

    image.png

    image.png

    image.png

    image.png

4.1.4. 表开发

  • 旧版: 在数据开发中,新建表。

    image.png

  • 新版: 升级为完整的“数据目录”管理,数据目录-新建表,支持表单可视化建表,支持代码建表,支持AI建表。

    image.png

4.1.5. 资源开发

  • 旧版: 在数据开发中,新建资源。

    image.png

  • 新版: 统一整合到“资源管理”模块。

    image.png

4.1.6. 函数开发

  • 旧版: 在数据开发中,新建函数。

    image.png

  • 新版: 统一整合到“资源管理”模块。

    image.png


4.2 组件管理模块

  • 旧版:

    image.png

  • 新版:

    image.png


4.3 手动任务模块

  • 旧版:

    image.png

  • 新版:

    image.png


4.4 手动业务流程模块

  • 旧版:

    image.png

  • 新版:

    image.png

  • 如需更加完整的手动工作流的能力,建议使用:项目目录-工作流-触发式工作流。

    image.png

    image.png


4.5 临时查询模块

  • 旧版:当前工作空间所有用户的临时查询文件。

    image.png

  • 新版:

    • 当前用户在当前Region下所有工作空间的临时查询文件。

    • 仅用于代码调试,确认需要发布为生产任务时,支持提交到项目目录下,配置调度配置内容后再进行发布。

    image.png


4.6 表管理模块

  • 旧版:

    image.png

  • 新版:升级为完整的“数据目录”管理,数据目录-新建表,支持表单可视化建表,支持代码建表,支持AI建表。

    image.png


4.7 公共表模块

  • 旧版:

    image.png

  • 新版:升级为完整的“数据目录”管理。

    image.png


4.8 函数列表模块

  • 旧版:

    image.png

  • 新版:目前可在Copilot中直接对函数使用方法进行提问。

    后续产品规划中,会新增函数管理模块,包含各引擎官方函数及自定义函数的管理及创建。

    image.png


4.9 操作检查模块

  • 旧版:

    image.png

  • 新版:

    image.png


4.10 运行历史模块

  • 旧版:

    image.png

  • 新版:

    image.png


4.11 冒烟测试记录模块

  • 旧版:

    image.png

  • 新版:

    image.png


4.12 计算资源模块

  • 旧版:

    image.png

  • 新版:

    image.png


4.13 设置模块

  • 旧版:

    image.png

  • 新版:主题切换。

    image.png

  • 新版:其他设置。

    image.png

  • 新版:更多设置探索。

    image.png


4.14 回收站模块

  • 旧版:

    image.png

  • 新版:

    image.png

五、升级操作指南

5.1 升级操作权限

  • 只有具备工作空间管理员同等权限的用户才能看到并操作升级功能。

5.2 升级操作流程

5.2.1 访问升级入口

  • 位于DataStudio(数据开发)主界面顶部导航栏。

  • 在工作空间选择器旁边的蓝色“升级新版”按钮。

  • 只有具备相应权限的用户才能看到此按钮。image.png

5.2.2 确认升级注意事项

点击“升级新版”按钮后,系统会展示升级介绍页面。

image.png

升级后,不支持降级。请确认以下内容后再开始操作,升级过程如需咨询,可添加DataWorks数据开发升级到新版专属答疑群

重要
  1. 已使用旧版DataStudio OpenAPI及需要使用迁移助手的客户,升级前请先在DataWorks数据开发升级到新版专属答疑群联系值班。

  2. 当前版本的工作空间与升级至新版后的工作空间之间,无法在新版和旧版数据开发之间进行跨工作空间任务发布。

  3. 升级期间,新版Data Studio及旧版DataStudio在当前工作空间均将无法新增或修改已有内容(包含界面操作及通过OpenAPI操作)。

  4. 升级需要一定的时间,请选择任务开发空闲时段进行升级。

  5. 升级后,工作空间名称及ID保持不变。

  6. 升级后,DataStudio当前版本不可编辑,升级后在新版数据开发中新编辑的代码内容不会同步更新至DataStudio当前版本。

  7. 升级后,新版Data Studio个人目录中从旧版DataStudio中临时查询迁移的文件仅可见您为owner的文件。

5.2.3 执行升级操作

  • 当前升级状态为“当前空间暂未开始升级”时,您点击“开始升级”按钮启动升级流程。

  • 点击“开始升级”按钮,系统会提示您当前工作空间升级的预估时间及迁移对象数量。

  • 点击“确认”按钮,系统正式开始升级。

    image.png

  • 升级过程中可实时查看进度和状态。

    image.png

  • 升级过程中可点击“升级详情”实时查看升级明细。

    image.png

  • 升级过程中可点击“刷新”查看最新升级状态。

    image.png

  • 升级完成后可点击“前往Data Studio”开始使用新版数据开发。

    image.png

六、升级保障

6.1 升级专属服务

  • 在线帮助:升级过程可提供详细的操作指导。

  • 技术咨询:遇到问题可在DataWorks数据开发升级到新版专属答疑群联系值班技术同学。如有需要,可提供现场服务。

  • 应急响应:升级异常时提供快速响应机制。

  • 产品培训:如有需要,升级后可提供功能使用培训。

6.2 回滚机制

如升级过程中遇到问题,可在DataWorks数据开发升级到新版专属答疑群联系值班技术同学,支持回滚到升级前状态。