列加密规则自动化管理最佳实践

业务场景

在数据库安全合规实践中，通常存在以下需求：

• 批量加密：需要对多个实例、多个库表下的敏感列（手机号、身份证号、邮箱等）批量配置列加密规则。

• 查询审计：需要查询已加密列列表、实例开通状态、额度使用情况、已授权用户及权限分组。

• 策略管理：需要删除或更新加密策略、批量修改授权账号权限、修改实例加密算法、手动同步策略。

• 安全合规：避免在控制台手动操作，通过脚本实现可审计、可回溯、可预览的标准化流程。

工具链架构

工具链包含四个Python脚本，通过阿里云Python V1 SDK的CommonRequest机制调用DAS OpenAPI。所有脚本复用同一套凭据加载逻辑，均支持--dry-run演练模式。

配置文件设计

配置分为4类，每类提供真实文件与.example模板成对设计，职责独立：

步骤1：下载并解压工具链

下载dbsec-skills.tgz工具链压缩包，并在本地解压：

tar xzf dbsec-skills.tgz
cd dbsec-skills/skills/column-encryption-rule/scripts

步骤2：安装Python依赖

创建虚拟环境并安装依赖：

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt

依赖文件（requirements.txt）内容：

aliyun-python-sdk-core>=2.16.0
PyMySQL>=1.1.0

后续所有命令均使用项目venv执行：.venv/bin/python。

步骤3：准备云API凭证

复制模板并填写真实AccessKey：

cp .aliyun.env.example .aliyun.env

.aliyun.env内容示例：

ALIBABA_CLOUD_ACCESS_KEY_ID=您的AccessKeyId
ALIBABA_CLOUD_ACCESS_KEY_SECRET=您的AccessKeySecret
# 仅使用STS临时凭证时需要，普通AK/SK可删除或留空
ALIBABA_CLOUD_SECURITY_TOKEN=您的STSToken

步骤4：准备加密策略模板

复制规则模板：

cp rule.example.json rule.json

推荐将rule.json精简为纯共享策略模板，实例维度信息全部交给columns.csv提供：

{
  "ProductId": 5,
  "EncAlgorithm": "AES_128_GCM",
  "EncryptionKeyMode": "client_key",
  "CooperationChannel": "DAS",
  "BackendRegionId": "cn-zhangjiakou",
  "UserList": [
    {
      "AccountId": "shared_user",
      "AuthRole": "fullAccess",
      "EngineType": "MySQL"
    },
    {
      "AccountId": "only_for_instanceB",
      "InstanceId": "rm-instanceB",
      "AuthRole": "restrictedAccess",
      "EngineType": "MySQL"
    }
  ],
  "ResourceGroupId": ""
}

关键字段说明：

AuthRole取值说明：

步骤5：准备列清单

您可以通过以下两种方式准备列清单：

方式一：手动编写columns.csv

复制模板：

cp columns.example.csv columns.csv

逐列写入数据。示例：

RegionId,InstanceId,DbName,TableName,Column,EngineType,ProductId
cn-hangzhou,rm-instanceA,your_database,your_table,email,MySQL,
cn-hangzhou,rm-instanceA,your_database,your_table,phone,MySQL,
cn-beijing,rm-instanceB,another_db,users,id_card,MySQL,

也可以将同一张表的多列写在Columns字段中（逗号分隔，加引号）：

RegionId,InstanceId,DbName,TableName,Columns,EngineType
cn-hangzhou,rm-instanceA,your_database,your_table,"email,phone",MySQL

ProductId列为可选列，跨产品混合时填，留空则回退到rule.json顶层值。

方式二：用fetch_schema.py自动导出

先复制模板并填写数据库连接信息：

cp mysql.example.conf mysql.conf

mysql.conf内容示例（key:value格式）：

url:rm-xxxxxxxxxxxxxxxxx.rwlb.rds.aliyuncs.com
user:your_user
pass:your_password

查看库表结构（文本格式）：

.venv/bin/python fetch_schema.py --config mysql.conf --database your_database

直接导出兼容的columns.csv：

.venv/bin/python fetch_schema.py --config mysql.conf --database your_database \
  --format csv --region-id cn-beijing --instance-id rm-xxxxxxxxxxxxxxxxx > columns.csv

fetch_schema.py完整参数：

--config          数据库配置文件，默认mysql.conf
--database        只查询指定库，可重复传入；省略则枚举全部业务库
--include-system  包含系统库（information_schema等）
--format          json | text | csv，默认text
--region-id       csv格式必填：实例所在地域，如cn-beijing
--instance-id     csv格式必填：实例ID，如rm-xxxx
--engine-type     csv格式的EngineType，默认MySQL

步骤6：dry-run演练

正式下发前务必先演练，确认请求体与批次拆分无误。

单次创建演练（不使用CSV）：

.venv/bin/python create_data_masking_rule.py \
  --env-file .aliyun.env --config rule.json --dry-run

批量创建演练（使用CSV）：

.venv/bin/python create_data_masking_rule.py \
  --env-file .aliyun.env --config rule.json --columns-csv columns.csv --dry-run

dry-run输出示例：

BatchCount: 批次数
TotalSubRuleCount: 聚合后的表规则数
TotalUniqueColumnCount: 唯一列数
Batches: 每批对应的InstanceId、ServiceRegionId、SubRuleCount、UniqueColumnCount

可选：本地额度预检。如已知最多还能新增50列：

.venv/bin/python create_data_masking_rule.py \
  --env-file .aliyun.env --config rule.json --columns-csv columns.csv \
  --max-new-columns 50 --dry-run

超过--max-new-columns限制时脚本会本地停止，不发请求。

步骤7：正式创建列加密规则

确认演练无误后，去掉--dry-run参数执行。

单次创建：

.venv/bin/python create_data_masking_rule.py \
  --env-file .aliyun.env --config rule.json

批量创建：

.venv/bin/python create_data_masking_rule.py \
  --env-file .aliyun.env --config rule.json --columns-csv columns.csv

可选：调整每批SubRule数量（最大100）：

.venv/bin/python create_data_masking_rule.py \
  --env-file .aliyun.env --config rule.json --columns-csv columns.csv --batch-size 50

步骤8：查询验证

使用describe_data_masking.py查询列加密状态。通过--action选择只读接口，均支持--dry-run。

示例：

# 列出已授权用户
.venv/bin/python describe_data_masking.py --env-file .aliyun.env \
  --action DescribeDataMaskingUsers

# 查询某实例支持的加密算法
.venv/bin/python describe_data_masking.py --env-file .aliyun.env \
  --action DescribeDataMaskingAlgorithms \
  --product-id 5 --service-region-id cn-beijing --instance-id rm-xxxxxxxxxxxxxxxxx

# 分页查询已加密列
.venv/bin/python describe_data_masking.py --env-file .aliyun.env \
  --action ListDataMaskingColumns \
  --product-ids 5 --db-name your_database --page-size 20 --current-page 1

# 统计已加密列额度
.venv/bin/python describe_data_masking.py --env-file .aliyun.env \
  --action GetDataMaskingColumnCount --product-ids 5

List类接口支持的过滤与分页参数：--masking-status、--template-id、--risk-level-id、--model-tag-id、--instance-id、--db-name、--table-name、--column-name、--current-page、--page-size、--product-id、--product-ids、--risk-level-ids、--template-rule-ids、--engine-type。

步骤9：管理操作

使用manage_data_masking.py，通过--action选择写接口，全部支持--dry-run预览请求体。列表型参数通过--config指向的JSON文件提供，标量参数既可写在config中也可用CLI选项覆盖（CLI优先）。

示例（建议先--dry-run预览，确认后去掉--dry-run执行）：

# 删除策略：config提供SubRuleList，ProductId用整数
.venv/bin/python manage_data_masking.py --env-file .aliyun.env \
  --action DeleteDataMaskingRule --config delete_rule.json --rule-name rule-demo --dry-run

# 批量修改授权账号权限分组
.venv/bin/python manage_data_masking.py --env-file .aliyun.env \
  --action BatchModifyDataMaskingUsers --config batch_users.json \
  --auth-role fullAccess --dry-run

# 修改实例加密算法
.venv/bin/python manage_data_masking.py --env-file .aliyun.env \
  --action ModifyDataMaskingEncryptionAlgorithm \
  --instance-id rm-xxx --product-id 5 --service-region-id cn-beijing \
  --encryption-algorithm AES_256_GCM --dry-run

# 手动同步全部加密策略（无业务参数）
.venv/bin/python manage_data_masking.py --env-file .aliyun.env \
  --action ManualSyncMaskingRules --dry-run