为适应云原生技术演进、满足日益复杂的数据处理场景需求,并应对现有架构在可扩展性、维护性及用户体验方面的挑战,DataWorks数据开发(Data Studio)正在进行一次全面的架构升级。本次升级旨在构建一个面向未来的、高性能、高可用的数据智能开发平台,为用户提供更高效、更智能、更统一的数据开发与治理体验。
如升级过程中遇到问题,可在DataWorks数据开发升级到新版专属答疑群获取技术支持。
一、升级背景
DataWorks 的原有技术架构构建于十六年前,虽在批处理时代满足了核心需求,但随着技术栈和业务场景的演进,其局限性日益凸显。本次升级主要由以下三大因素驱动:
应对架构演进的技术要求
湖仓一体化架构支持:现有架构需升级以原生支持从传统数仓向湖仓一体(Lakehouse)的平滑演进,统一元数据管理与数据处理。
离线与实时一体化:为应对业务实时性要求,新架构必须提供统一的开发范式与元数据视图,无缝融合离线批处理与实时流计算。
AI 与大语言模型 (LLM) 的原生集成:新架构需具备原生能力,将机器学习、深度学习及自然语言处理等AI能力深度集成到数据开发全流程中。
解决现有架构的技术挑战
单体式与批处理为核心的设计局限:原有架构基于早期单体式设计,核心面向批处理场景,对云原生(Cloud-Native)及流式计算的支持存在先天不足,限制了平台的弹性与性能。
可扩展性与维护性瓶颈:高耦合的模块设计导致新功能迭代周期长、维护成本高,已难以满足大规模并发访问及业务的个性化扩展需求。
满足演进的用户需求
支撑大规模与复杂工作流:为满足数万活跃用户及 EB 级数据的处理需求,新架构需提供更高的稳定性、吞吐能力与资源隔离性。
提升开发效率与智能化水平:用户期望获得媲美本地 IDE 的流畅开发体验,新架构将引入智能化的代码辅助、性能诊断与一键发布等功能,显著降低数据开发的技术门槛。
二、升级范围
模块 | 变更内容 |
数据开发 (DataStudio) | 仅限用户界面 (UI) 和交互体验 (UX) 的产品升级。 |
运维中心、发布中心等其他产品模块和本升级无关,不在升级范围内。
三、升级影响
对现有业务的影响
项目 | 影响说明 |
已发布的生产任务 | 零影响。 保证所有线上任务的调度与执行将继续稳定运行,不受任何干扰。 |
数据开发核心功能 | 完整保留并增强。 节点类型、函数支持、核心编辑与执行能力等均被完整保留,并在新版中获得性能和体验优化。 |
用户资产迁移
资产类型 | 迁移方案 |
已有节点 (例如 MaxCompute SQL、Shell等) | 支持一键迁移至新版界面。 |
自定义函数 (UDF) | |
资源文件 (例如 | |
组件 | |
临时查询 |
四、功能迁移详解
新版数据开发(Data Studio)对旧版数据开发功能进行了重新整合和优化。以下将以旧版数据开发为起点,逐一说明旧版数据开发中每个功能模块在新版IDE中的新位置和功能变化:
4.1 数据开发模块
4.1.1. 解决方案
旧版: 独立的“解决方案”菜单,用于组织和管理相关的业务流程。
新版: 升级为“专注模式”,任意文件目录均可选择进入专注模式,提供更沉浸式更加灵活的开发体验。
4.1.2. 业务流程
旧版: 固定的目录层级;支持业务流程看板。
新版: 支持用户按需新建目录,可按需灵活打标为旧版业务流程目录的内容。
新版:业务流程看板,升级为目录看板,任意目录均可支持“查看”能力。
新版:如需使用流程编排能力,可使用新版数据开发的“周期调度工作流”。
4.1.3. 节点开发
旧版: 仅展示可用的节点类型,无法感知DataWorks支持的其他节点类型,也无法在绑定引擎之前写其他类型节点的开发代码。
新版: 整合到数据开发-项目目录中,能看到所有节点类型,支持先编写代码再绑定引擎;新建节点交互仍在持续优化,节点创建及编码体验会更好。
4.1.3.1 运行/带参运行
旧版: “运行”、“带参运行”两个按钮分开;点击带参运行时,选择运行资源组和自定义参数。
新版:
将旧版“运行”、“带参运行”两个按钮,收缩为新版的“运行”一个按钮。
旧版中“引擎实例”,依节点类型而定,至多拆分为数据源和计算资源:
数据源:用于智能代码编辑器中的元数据联想。
计算资源:用于确定代码调试所用的计算资源。
旧版弹窗中“运行资源组”,变更至调试配置中的“资源组”。
旧版“带参运行”弹窗中“自定义参数”,变更至调试配置中的“参数”。
“调试配置”在节点右侧常驻,每次代码运行时所需的计算资源/资源组/参数均从调试配置中取值。
4.1.3.2 冒烟测试/查看冒烟测试记录
旧版:提交成功后才可发起冒烟测试。
新版:
标准模式:发布成功至开发环境后(对应旧版的提交成功)才可发起冒烟测试。
简单模式:发布成功至生产环境后(对应旧版的提交成功)才可发起冒烟测试。
4.1.3.3 代码评审/查看代码评审记录
旧版:直接在节点工具栏上面看到相关按钮。
新版:发布过程中,在生产检查器环节可发起代码评审。在左侧目录树中,点击查看代码评审列表。
4.1.3.4 提交/提交并允许他人编辑
旧版:
新版:旧版中的“提交”变更为新版的“发布”。在新版中支持有权限的用户直接发布,标准模式也支持将任务打包发布至发布中心。
4.1.4. 表开发
旧版: 在数据开发中,新建表。
新版: 升级为完整的“数据目录”管理,数据目录-新建表,支持表单可视化建表,支持代码建表,支持AI建表。
4.1.5. 资源开发
旧版: 在数据开发中,新建资源。
新版: 统一整合到“资源管理”模块。
4.1.6. 函数开发
旧版: 在数据开发中,新建函数。
新版: 统一整合到“资源管理”模块。
4.2 组件管理模块
旧版:
新版:
4.3 手动任务模块
旧版:
新版:
4.4 手动业务流程模块
旧版:
新版:
如需更加完整的手动工作流的能力,建议使用:项目目录-工作流-触发式工作流。
4.5 临时查询模块
旧版:当前工作空间所有用户的临时查询文件。
新版:
当前用户在当前Region下所有工作空间的临时查询文件。
仅用于代码调试,确认需要发布为生产任务时,支持提交到项目目录下,配置调度配置内容后再进行发布。
4.6 表管理模块
旧版:
新版:升级为完整的“数据目录”管理,数据目录-新建表,支持表单可视化建表,支持代码建表,支持AI建表。
4.7 公共表模块
旧版:
新版:升级为完整的“数据目录”管理。
4.8 函数列表模块
旧版:
新版:目前可在Copilot中直接对函数使用方法进行提问。
后续产品规划中,会新增函数管理模块,包含各引擎官方函数及自定义函数的管理及创建。
4.9 操作检查模块
旧版:
新版:
4.10 运行历史模块
旧版:
新版:
4.11 冒烟测试记录模块
旧版:
新版:
4.12 计算资源模块
旧版:
新版:
4.13 设置模块
旧版:
新版:主题切换。
新版:其他设置。
新版:更多设置探索。
4.14 回收站模块
旧版:
新版:
五、升级操作指南
5.1 升级操作权限
只有具备工作空间管理员同等权限的用户才能看到并操作升级功能。
5.2 升级操作流程
5.2.1 访问升级入口
位于DataStudio(数据开发)主界面顶部导航栏。
在工作空间选择器旁边的蓝色“升级新版”按钮。
只有具备相应权限的用户才能看到此按钮。
5.2.2 确认升级注意事项
点击“升级新版”按钮后,系统会展示升级介绍页面。
升级后,不支持降级。请确认以下内容后再开始操作,升级过程如需咨询,可添加DataWorks数据开发升级到新版专属答疑群。
已使用旧版DataStudio OpenAPI及需要使用迁移助手的客户,升级前请先在DataWorks数据开发升级到新版专属答疑群联系值班。
当前版本的工作空间与升级至新版后的工作空间之间,无法在新版和旧版数据开发之间进行跨工作空间任务发布。
升级期间,新版Data Studio及旧版DataStudio在当前工作空间均将无法新增或修改已有内容(包含界面操作及通过OpenAPI操作)。
升级需要一定的时间,请选择任务开发空闲时段进行升级。
升级后,工作空间名称及ID保持不变。
升级后,DataStudio当前版本不可编辑,升级后在新版数据开发中新编辑的代码内容不会同步更新至DataStudio当前版本。
升级后,新版Data Studio个人目录中从旧版DataStudio中临时查询迁移的文件仅可见您为owner的文件。
5.2.3 执行升级操作
当前升级状态为“当前空间暂未开始升级”时,您点击“开始升级”按钮启动升级流程。
点击“开始升级”按钮,系统会提示您当前工作空间升级的预估时间及迁移对象数量。
点击“确认”按钮,系统正式开始升级。
升级过程中可实时查看进度和状态。
升级过程中可点击“升级详情”实时查看升级明细。
升级过程中可点击“刷新”查看最新升级状态。
升级完成后可点击“前往Data Studio”开始使用新版数据开发。
六、升级保障
6.1 升级专属服务
在线帮助:升级过程可提供详细的操作指导。
技术咨询:遇到问题可在DataWorks数据开发升级到新版专属答疑群联系值班技术同学。如有需要,可提供现场服务。
应急响应:升级异常时提供快速响应机制。
产品培训:如有需要,升级后可提供功能使用培训。
6.2 回滚机制
如升级过程中遇到问题,可在DataWorks数据开发升级到新版专属答疑群联系值班技术同学,支持回滚到升级前状态。