DataWorks大数据安全治理实践指南

场景一：数据分级分类

不论在任何行业，数据分级分类都是监管首要检查的对象，也是企业应审的首要任务。因此，如何对本企业敏感数据识别、分级分类打标将成为一切安全治理工作的开始。

敏感数据一般包含如下三类。

管理员可以根据上述敏感数据类型及本企业的数据属性，定义本企业/组织的数据敏感级别，一般情况下可以参考如下分级方式。

如仍然无法确认分级标准，则可参考所在行业国家标准。例如，《金融数据安全分级指南 JR/T 0197-2020》。

分级、分类标准确认完毕后，即可前往DataWorks数据保护伞模块配置分级分类、数据识别规则，步骤如下图。

详情请参见数据保护伞 | 步骤一：事前梳理。

场景二：规范数据开发流程

数据仓库不仅是企业的核心数据资产，也是业务决策神经中枢。因此，对于生产环境的机密性、稳定性需通过DevOps的方式来保障。DataWorks提供了多个预设角色，并配合标准模式工作空间，支持团队内分权管理、各司其职，规范化开展数据生产开发流程。

标准模式下，可以给数据开发人员授权“开发”角色、给运维人员授权“运维”或“部署”角色、给数据团队主管授权“空间管理员”角色、给分析师授权“数据分析师”角色。这样，便可形成规范化的数据开发与生产流程。

• 数据建模链路：先由数据团队主管定义好建模过程中可能使用到的数据标准，再由数据建模人员设计并提交模型，最后经由数据团队主管、运维或部署人员审核无误后发布至生产环境。

• 数据开发与生产链路：开发人员在开发环境先开发代码、配置调度依赖、调试任务，待冒烟测试无误后可申请提交发布，此时应由一个运维/部署/管理员角色来进行代码Review，确认无误后即可发布到生产环境，让规范、安全的代码在生产环境定期运行并产出数据。

通过该方式，每个人各司其职，职责分离，有效避免了“自己开发、自己发布”的情况，同时，多人协作把控风险，可降低故障率。

详情请参见权限管理与规范化数据开发。

场景三：企业级身份认证

企业期望直接通过本地AD或LDAP来统一管理身份，而不是在云上维护一套账号，该操作可能导致管理难、离职账号回收遗漏等问题。阿里云支持基于SAML 2.0和OIDC的SSO（Single Sign On，即单点登录），也称为身份联合登录。通过管理者身份，可以实现系统与阿里云的单点登录集成。例如：

• 管理者可以在云上维护几个RAM角色，既可支持大量开发人员从本地SSO扮演角色进行开发工作，也可从操作审计日志中追踪到扮演者。

• 调度访问身份权限较大，管理者可以将RAM角色配置为调度访问身份，有效避免人员意外登录。

详情请参见DataWorks角色登录。

场景四：开源身份隔离

企业通常会使用DataWorks联合各类大数据引擎（例如，MaxCompute、E-MapReduce）进行数据开发。

• 使用DataWorks及MaxCompute进行数据开发时，在标准模式工作空间下默认支持身份权限隔离。

• 使用DataWorks及E-MapReduce时，支持管理者将DataWorks空间成员与EMR集群的Linux系统账号（已通过Ranger或Sentry分配好权限）、OPEN LDAP账号、Kerberos账号进行一一映射，实现人员权限隔离。

详情请参见E-MapReduce身份映射。

场景一：新人入职自动化授权

当企业规模变大，使用数仓的人员就会变多，同时，企业入职、离职、转岗的人员也会越来越多。当数据分析师或数据开发人员新人入职时，如果仅通过人工授权，则工作量巨大，且可能出现错漏。此时，管理员可通过定义“DataWorks自定角色 + MaxCompute Role”及DataWorks OpenAPI来进行自动化授权，实现人员入职成功后即可拥有最基本的数据权限。

操作步骤如下：

1. 步骤一：为各部门对应的MaxCompute项目创建自定义Role，并通过Policy定义数据权限。

2. 步骤二：在DataWorks中创建自定义角色并映射关联至MaxCompute的Role。

3. 步骤三：将DataWorks添加成员的OpenAPI接口，嵌入至本企业HR系统中，按需触发或在人员入职成功后自动将对应的RAM身份添加至DataWorks自定义角色。

4. 步骤四：最终，入职的新人便会默认拥有DataWorks空间角色及MaxCompute数据权限。

详情请参见DataWorks自定义角色、DataWorks添加成员OpenAPI、MaxCompute Role Policy配置。

场景二：按需申请数据权限&多级审批

在日常工作中，开发人员、数据分析师常需要读取他人产出的结果表，他们可在DataWorks数据地图检索表的元数据，并对表或表的某列进行权限申请。默认情况下，空间管理员或表Owner审批后便会自动授权，详情请参见DataWorks表权限申请及审批。

对数据安全要求较严格的企业，其内部制定了相关授权规范，例如：

• 敏感级别较低的数据由主管审批，较高密级的数据则由更高职位的人员审批。

• 由于不是所有审批人都会登录至DataWorks进行审批，因此，要求审批流程能延伸至用户外部审批系统（例如，钉钉、飞书、企业微信）。

面对这类场景，我们支持基于数据分级自定义审批流程，同时，支持通过OpenAPI与审批消息实现与外部系统对接，满足企业对平台开放性的诉求。

详情请参见通过分级分类配置审批策略、安全审批单相关OpenAPI中心、审批消息。

场景三：数据可用而不可见

在数据分析场景下，若非特殊情况，数据分析师通常不需要查询明细数据；在数据开发、测试场景下，开发人员在生产环境中导出数据进行开发或测试时，不展示明细数据时也不会影响开发工作。

为避免数据分析师、开发人员滥用数据，出于非工作目的查看明细数据，则可采用数据脱敏能力（支持保留格式加密、掩盖、HASH加密、字符替换、区间变换、取整、置空等多种方式），即很多法律法规中都重点强调的“去标识化”，实现在即席查询场景的界面化脱敏及通过数据集成任务将数据从生产同步至开发环境时的脱敏。

效果如下：

详情请参见数据脱敏能力概述。

场景四：数据完整性与可用性专项治理

数据质量的好坏直接决定了数据信息的完整性（Integrity）与可用性（Availability），在整体数据链路的处理过程中，为保证最终产出数据的质量，数仓团队需要对数据仓库ODS、CDM和ADS层的数据分别进行监控，如产出脏数据（例如，缺失值、空值、异常值），则需及时告警或阻断脏数据向下游蔓延。

通常，数据质量的管理流程包括业务的数据资产定级、加工卡点、风险点监控和及时性监控。同时，数据的可用性（Availability）还关系到数据能否准时产出。

为保证数据的完整性及可用性，DataWorks的智能监控为您提供如下功能：

• 支持用户定义任务优先级与任务承诺完成时间。

• 及时捕捉重要任务（例如，高优先级任务、部分基线上的任务）无法按时完成的异常情况并提前预警。

• 保障复杂依赖场景下重要数据能在预期时间内顺利产出，帮助您降低配置成本、避免无效报警、自动监控所有重要任务。

详情请参见数据质量最佳实践教程、DataWorks智能基线。

场景一：数据违规下载实时阻断/审批

数据下载是企业风险治理的重中之重。通常，企业数据开发人员、分析人员只允许在数据平台上浏览及使用数据，不允许将明细数据下载至本地进行分析。数据导出到本地后将无法审计其使用行为，若使用不当或遇到别有用心者，将导致数据被滥用、泄露，严重则可能产生数安事件及风险舆情。

不同企业对下载行为风控规则的定义存在差异，本文将以“一次性导出数据超过1000行时则阻断/审批”为例进行展示。

场景二：数据违规流转准实时告警

开发者在开发环境中使用数仓数据构建应用时，可能存在将ODS层数据同步至分析层项目空间、将分析层数据同步至数据仓库之外的存储介质（业务数据库或对象存储）等情况，此类行为极易造成数仓分析层数据可用性、完整性受损，或明细数据泄露。管理员可通过监控DataWorks操作审计日志及时发现此类行为，步骤如下：

1. 登录至操作行为审计ActionTrail控制台。

2. 查看运行数据集成任务ExecuteFile事件的审计报文。

   

   审计报文详情。

   报文中，Reader为odps，但Write为Mysql，表示该同步任务的源端为MaxCompute，目的端为Mysql。

   {
     "eventId": "0bc1746317041210600372496e6191",
     "eventVersion": 1,
     "eventSource": "dataworks.aliyuncs.com",
     "requestParameters": {
       "codeContent": {
         "transform": false,
         "type": "job",
         "version": "2.0",
         "steps": [
           {
             "stepType": "odps",
             "copies": 1,
             "parameter": {
               "partition": [
                 "pt=${bizdate}"
               ],
               "envType": 0,
               "datasource": "0_odps_xc_DPE_E2_engine",
               "tunnelQuota": "default",
               "isSupportThreeModel": false,
               "column": [
                 "spcode",
                 "hjstatus",
                 "sncode",
                 "spname",
                 "id",
                 "spcard",
                 "spkhrq",
                 "spperm",
                 "spgz",
                 "spmfact",
                 "spmfactzg",
                 "spjym",
                 "dwbfye",
                 "grbfye",
                 "spmend",
                 "bchjny"
               ],
               "tableComment": "智慧城市人口财产主题分析-公积金信息数据",
               "table": "ods_t_ss_persons_delta_d"
             },
             "name": "Reader",
             "gui": {
               "x": 100,
               "y": 100
             },
             "category": "reader"
           },
           {
             "stepType": "mysql",
             "copies": 1,
             "parameter": {
               "postSql": [],
               "envType": 0,
               "datasource": "smartcity",
               "column": [
                 "spcode",
                 "hjstatus",
                 "sncode",
                 "spname",
                 "id",
                 "spcard",
                 "spkhrq",
                 "spperm",
                 "spgz",
                 "spmfact",
                 "spmfactzg",
                 "spjym",
                 "dwbfye",
                 "grbfye",
                 "spmend",
                 "bchjny"
               ],
               "tableComment": "",
               "writeMode": "insert",
               "batchSize": 256,
               "table": "t_ss_persons_delta",
               "preSql": []
             },
             "name": "Writer",
             "gui": {
               "x": 100,
               "y": 200
             },
             "category": "writer"
           },
           {
             "copies": 1,
             "parameter": {
               "nodes": [],
               "edges": [],
               "groups": [],
               "version": "2.0"
             },
             "name": "Processor",
             "gui": {
               "x": 100,
               "y": 300
             },
             "category": "processor"
           }
         ],
         "order": {
           "hops": [
             {
               "from": "Reader",
               "gui": {
                 "sourceAnchor": 1,
                 "targetAnchor": 0
               },
               "to": "Writer"
             }
           ]
         },
         "setting": {
           "errorLimit": {
             "record": ""
           },
           "speed": {
             "throttle": false,
             "concurrent": 2
           }
         }
       }
     },
     "sourceIpAddress": "58.100.XXX.XXX, 11.193.XXX.XX",
     "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.X.X Safari/537.36",
     "eventRW": "Write",
     "eventType": "ConsoleOperation",
     "referencedResources": {
       "ACS::DataWorks::File": [
         "502990524"
       ],
       "ACS::DataWorks::Project": [
         "94864"
       ]
     },
     "userIdentity": {
       "sessionContext": {
         "attributes": {
           "mfaAuthenticated": "false",
           "creationDate": "1704119017735"
         }
       },
       "accountId": "1912232488744735",
       "principalId": "1912232488744735",
       "type": "root-account",
       "userName": "root"
     },
     "serviceName": "DataWorks",
     "additionalEventData": {
       "CallerBid": "26842"
     },
     "requestId": "0bc1746317041210600372496e6191",
     "eventTime": "2024-01-01T14:57:42Z",
     "isGlobal": false,
     "acsRegion": "cn-shanghai",
     "eventName": "ExecuteFile"
   }

3. 配置告警规则。

   • 方式一：通过日志服务进行告警。

     通过特定语法配置告警规则“当Reader为odps且Write不为odps时则告警”，实现事后告警。配置详情请参见创建自定义告警规则。

     语法示例参考如下。

     event.eventName: ExecuteFile and event.serviceName: DataWorks | select * from (select json_extract_scalar(json_parse("event.requestParameterJson"), '$.codeContent.steps.0.stepType') as src, json_extract_scalar(json_parse("event.requestParameterJson"), '$.codeContent.steps.1.stepType') as dst from log) where src='odps' and dst != 'odps'

   • 方式二：通过自建告警系统进行告警。

     通过ActionTrail OpenAPI（LookupEvents）将审计事件明细内容拉取至本地解析，若审计报文内容符合“当Reader为odps且Write不为odps时则告警”规则，则可通过自建告警系统发出告警。