Git代码同步与合并

步骤一：准备云资源与网络环境

代码同步任务依赖Serverless资源组执行，并需通过网络访问Git仓库和OSS。

1. 准备Serverless资源组并配置网络。

   • 准备一个DataWorks的Serverless资源组，并绑定到目标工作空间。

   • 确保该资源组可访问Git服务器的SSH端口（仅支持22端口）。

     • 公网Git仓库（例如云效CodeUp、GitHub.com）：为资源组所在的VPC配置公网NAT网关和EIP，以开通公网访问能力。

     • 私网Git仓库：确保资源组与Git服务器之间的私有网络（VPC）可达，详情参见VPC对等连接。

2. 准备OSS数据源。 代码同步功能使用OSS进行临时存储。

   • 在与DataWorks工作空间相同的地域（Region）下，创建一个OSS Bucket。

   • 在DataWorks工作空间的数据源管理页面，创建一个指向该Bucket的OSS数据源。

     说明

     仅支持使用访问密钥（Access Key）模式的数据源。

步骤二：准备Git环境

在Git平台创建专用账户、配置SSH密钥及设置分支保护规则。

1. 创建Git专用账户并生成SSH密钥。

   1. 在Git平台（例如云效、GitLab）创建专用于代码自动提交的账户（例如 dataworks_pusher），并配置有效邮箱。

   2. 为该账户生成RSA算法模式的SSH密钥对，生成过程中无需设置口令（passphrase）。

      • 目的：生成用于认证的SSH公钥和私钥。

      • 命令：

        # 将 "your_user_email@example.com" 替换为上一步中配置的账户邮箱
        ssh-keygen -t rsa -C "your_user_email@example.com"
        
        # 在提示输入口令时，直接按回车键跳过
        # Enter passphrase (empty for no passphrase): [回车]
        # Enter same passphrase again: [回车]

      • 结果：命令执行成功后，在 ~/.ssh/ 目录下生成 id_rsa（私钥）和 id_rsa.pub（公钥）文件。后续步骤将使用这两个文件的内容。

        # 复制并保存公钥与私钥内容，后续步骤需要使用
        cat ~/.ssh/id_rsa.pub
        cat ~/.ssh/id_rsa

2. 在Git平台添加公钥。 

   登录Git平台，在 dataworks_pusher 账户的SSH密钥管理页面，添加上一步生成的公钥（id_rsa.pub 文件内容）。

3. 创建代码仓库并配置分支保护规则。

   1. 创建专用于DataWorks代码管理的Git仓库，例如 DataWorks_code。

   2. 在仓库中设置分支保护规则，确保DataWorks自动管理的分支不被直接修改。此操作需由仓库管理员完成。

      重要

      未正确配置分支保护规则可能导致DataWorks自动管理的分支被意外修改，从而破坏同步一致性。

      • 分支名模式：dataworks_*

      • 允许推送：选择指定成员，并添加 dataworks_pusher 账户。

      • 允许合并：选择不允许任何人。

步骤三：配置并初始化代码同步

步骤四：验证代码同步

1. 新建数据开发Shell节点，命名为：shell_test。

2. 在代码编辑页中填写如下代码，并单击工具栏的保存按钮。

   echo 'Code push test.'

3. 登录Git，进入目标代码库，选择save分支，找到shell_test文件夹，可观察到文件夹下存在shell_test.sh（代码文件）、shell_test.spec.json（调度配置文件）和dataworks.properties（变量文件）三个文件，单击shell_test.sh可查看到shell_test节点及其代码内容，即为同步成功。

   

4. 其余两个分支的同步情况，可通过发布节点到相应的环境中验证，发布操作详见：同工作空间发布。

赋能反向合并

DataWorks 不仅支持将代码同步至 Git，更实现了强大的反向合并能力。您可以轻松将 Git 远端分支的最新变更合并回 DataWorks 平台。

这不仅包括主同步分支，也完全兼容基于该分支创建的各类特性分支（Feature Branch）。开发者可以遵循主同步分支的开发范式，在独立分支上进行开发、测试与代码审查（Code Review），最终将成熟的代码安全地集成回 DataWorks，赋能专业、高效的团队协同开发。

1. 合并入口

   在数据开发 > 代码管理界面，展开代码合并一栏。

2. 合并预览

   输入要合并的分支名称后，单击合并预览，系统将比较来源分支与DataWorks默认的save分支之间的新增，变更，删除的内容。

   • 无冲突：界面将展示变更内容的Diff，清晰地列出将被新增、修改或删除的节点及代码改动详情。

   • 有冲突：界面将直接提示冲突，并展示具体的冲突内容。此时您需要返回本地，在Git中手动解决冲突后，再重新发起合并。

   

3. 确认合并

   1. 在预览无误后，单击确认合并。

   2. 系统将开始执行合并任务，您可以实时看到合并进度。

   3. 所有历史合并记录都会展示在下方的 代码合并历史 区域，您可以随时查看责任人、合并状态和分支明细。

      

赋能跨空间合并

Git同步功能支持对DataWorks项目进行跨空间乃至跨地域的克隆，旨在将一套标准化的代码逻辑作为“模板”，快速复用或分发至多个业务场景。例如，用户可将一套通用的用户分析模型，快速部署到不同业务线的独立工作空间中，并使其运行在各自专属的计算资源和数据源上。

1. 初始化设置

   1. 分别创建两个项目：git_cross_project_1、git_cross_project_2，支持跨地域创建。

   2. 根据步骤一分别在两个工作空间中配置资源组和OSS数据源，两个数据源可配置相同，并配置网络关系。

   3. 根据步骤二准备一个Git代码库，作为两个工作空间共同的代码管理仓库。

   4. 根据步骤三分别为两个工作空间配置git同步（两侧配置相同的SSH地址和私钥），并确保初始化成功。此时Git代码库中将出现两个工作空间：270256（project1）和270257（project2）的分支。

      

2. 跨项目合并策略

   1. 代码分支跨项目合并时，仅合并节点代码、基本属性和调度配置，运行配置不会合并入目标空间。

   2. 由于两个工作空间所使用的计算资源、资源组、数据源等配置不一定相同，因此，需要配置资源映射merge_mapping。

      1. 打开本地电脑终端，将源工作空间的save分支clone到本地，并切换至源工作空间project1的save分支，如：dataworks_cn_shenzhen_270256_save。

         # 将远程Git仓库的代码克隆到本地
         git clone git@your_git_server_domain:64dc86a16800a4a57137536/cross_project_shenzhen.git
         
         # 切换分支至project1的save分支
         git checkout <your branch name>

      2. 创建merge_mapping映射文件。

         # cross_project_shenzhen为代码库名称
         cd cross_project_shenzhen 
         
         # 创建目录
         mkdir -p DATAWORKS_SYSTEM_CONFIG/merge_mapping
         
         # 创建映射文件，文件名称如：cn_shenzhen_270256_to_cn_shenzhen_270257.properties
         vi DATAWORKS_SYSTEM_CONFIG/merge_mapping/<region>_<projectId>_to_<region>_<projectId>.properties

         根据实际情况配置文件内容，并修改=左右两边参数的实际值，每种类型都支持填写多个参数。

         # 数据源
         # spec.datasource.name.<project1数据源名称>=<project2数据源名称>
         spec.datasource.name.mysql_01=mysql_02
         
         # 资源组
         # spec.runtimeResource.resourceGroup.<project1资源组ID>=<project2资源组ID>
         spec.runtimeResource.resourceGroup.group_524257424564736=Serverless_res_group_524257424564736_764027070300961
         
         # 节点输出名前缀
         # spec.output-prefix.<project1名称>=<project2名称>
         spec.output-prefix.git_cross_project_1=git_cross_project_2
         
         # MaxCompute SQL中的表的项目前缀
         # script.project-identifier.<project1名称>=<project2名称>
         script.project-identifier.git_cross_project_1=git_cross_project_2
         
         # 镜像
         # spec.script.runtime.container.imageId.<project1中使用的镜像ID>=<project2中使用的镜像ID>
         spec.script.runtime.container.imageId.Default=System_python311_ubuntu2204_20251201
         
         # RAM角色
         # spec.script.runtime.linkedRoleArn.<project1中使用的ram角色ARN>=<project2中使用的ram角色ARN>
         spec.script.runtime.linkedRoleArn.acs:ram::1107550004253538:role/aliyundataworksaccessingenirole=acs:ram::1107550004253538:role/aliyundataworksaccessingossrole

         将代码推送到Git代码仓库。

         # 添加当前目录变更至git
         git add .
         # 推送分支内容至远程Git仓库
         git push

   3. 跨项目合并代码

      1. 进入目标工作空间git_cross_project_2的数据开发，单击左侧导航的代码管理，并找到代码合并页签。

      2. 在分支输入框中填入源工作空间的save分支的名称，如：dataworks_cn_shenzhen_270256_save。

         

      3. 点击合并预览，确认无误后，将工作空间git_cross_project_1的代码合并入工作空间git_cross_project_2。合并操作详见从 Git 分支反向合并。