数据脱敏

• 暂不支持从设置了脱敏规则的表和列向未设置脱敏规则的表和列导入数据，相关报错信息如下。

  错误原因：ERROR: The insert table has not set SECURITY LABEL

• 暂不支持针对设置了脱敏规则的表进行UNION和DISTINCT查询，相关报错信息如下。

  错误原因:ERROR: UNION is not support on security item

• 数据脱敏会一定程度的影响查询性能，影响程度和脱敏方式、数据量都有关，性能有10%~20%的下降，极端场景可能存在数倍性能下降。

• 不支持对外部表设置脱敏规则。

设置脱敏规则

Hologres支持对目标列或目标用户设置数据脱敏。在进行数据脱敏之前，一定要开启数据脱敏的GUC参数，详情请参见准备工作。

• 语法

  • 对列设置脱敏策略

    对多列数据进行脱敏时，需要多次执行该语句。

    SECURITY LABEL FOR hg_anon ON COLUMN <tablename>.<col_name> IS <label_name>/'default_value';

  • 对用户设置脱敏策略

     SECURITY LABEL FOR hg_anon ON ROLE <user_name> IS '[<label_name>|all]:[masked|unmasked]';

• 参数说明

  参数	描述
  hg_anon	hg_anon是Hologres内部封装的扩展函数，您需要调用该扩展函数才能开启数据脱敏功能。
  tablename	需要脱敏的列所在的表名称。
  col_name	需要脱敏的列名称。
  label_name	系统预设的脱敏函数，您可以使用SHOW hg_anon_labels;查看当前数据库设置的label_name。
  user_name	账号ID。请通过用户信息页面获取。
  masked|unmasked	masked：使用数据脱敏。 unmasked：不使用数据脱敏。

  系统预设的label_name详情如下表所示。

  数据类型	label_name	脱敏策略	脱敏类型	说明	脱敏示例
  TEXT	name	name	mask	姓名脱敏。	脱敏前：李华；脱敏后：*华。 脱敏前：王小强；脱敏后：**强。
  	email	email	mask	邮箱地址脱敏。	脱敏前：lihuang@alibaba.com；脱敏后：lih***@alibaba.com。
  	ip	ip	mask	IP地址脱敏。	脱敏前：1.2.3.4；脱敏后：1.*.*.*。
  	id	id	mask	身份证号码脱敏。	脱敏前：110345188812011234；脱敏后：1****************4。
  	phone	phone	mask	电话号码脱敏。	脱敏前：13900001234；脱敏后：*********34。
  	bank_id	bank_id	mask	银行卡、信用卡账号脱敏。	脱敏前：2349867902834701928；脱敏后：***************1928。
  	hash	md5	hash	使用MD5算法进行脱敏。	脱敏前：浙江省杭州市文一西路；脱敏后：dbf894b409d4a2ef17dfd9c7fdcafcd8。
  	first_mask	first_mask	mask	定义了一个first_mask的规则，只显示第一个字符。	脱敏前：123456789；脱敏后：1********。
  INT、FLOAT等类型	Default	default_value	default_value	按照默认值脱敏。 说明 如果在设置数据脱敏时，label_name不存在，将会退化成默认值脱敏。 仅Hologres V3.1及以上版本支持设置。	数据类型与脱敏默认值映射如下： TEXT/VARCHAR/CHAR：*** BOOLEAN：false INT8/INT4/INT2：0 TIMESTAMPTZ/TIMESTAMP：2000-01-01 00:00:00 FLOAT8/FLOAT4/DECIMAL/NUMERIC：0.0 MONEY：0 DATE：2000-01-01 TIME/TIMETZ：当前时间 UUID：00000000-0000-0000-0000-000000000000

查看设置的脱敏规则

• 查看为列设置的脱敏

  --查看为列设置的脱敏
  SELECT 
  	c.relname
    ,a.attname
    ,provider
    ,label
  FROM pg_seclabel s 
  INNER JOIN pg_catalog.pg_class c ON s.objoid = c.relfilenode 
  INNER JOIN pg_catalog.pg_attribute a ON s.objoid = a.attrelid 
  WHERE a.attnum = objsubid;

• 查看为用户设置的脱敏

  --查看为用户设置的脱敏规则
  SELECT
      usename,
      label
  FROM
      pg_shseclabel s
      INNER JOIN pg_catalog.pg_user u ON s.objoid = u.usesysid;

修改自定义脱敏规则

设置的脱敏规则如果无法满足需求，您可以通过修改GUC的hg_anon_lables参数自定义脱敏规则。

• 语法

  --label_name是您自定义的名称，method是Hologres内置的一些方法。
  ALTER DATABASE <db_name> SET hg_anon_labels = '[   
  {"label": <label_name1>, "method":<method1>},  
  {"label": <label_name2>, "method":<method2>}, 
  ...  ]'; 

  执行ALTER DATABASE命令后，当前连接会不生效，需要重建立一个连接。您可使用如下命令查看设置是否生效。

  SHOW hg_anon_enable;

• 示例

  ALTER DATABASE test_db SET hg_anon_labels = '[
  {"label":"ip", "method":{"desensType":"mask", "type":"ip"}},
  {"label":"email", "method":{"desensType":"mask", "type":"email"}},
  {"label":"name", "method":{"desensType":"mask", "type":"name"}},
  {"label":"first_mask", "method":{"desensType":"mask", "type":"user_define", "before":1, "after":0}},
  {"label":"hash", "method":{"desensType":"hash", "type":"md5", "salt":""}}]';

  参数说明：

  脱敏项	脱敏内容描述	脱敏结果示例
  {"desensType":"mask", "type":"ip"}	IP地址脱敏。	192.*.*.*
  {"desensType":"mask", "type":"email"}	邮箱地址脱敏。	abc***@example.net
  {"desensType":"mask", "type":"name"}	名称脱敏。	*五
  {"desensType":"hash", "type":"md5", "salt":""}	Hash脱敏。	e086aa137fa19f67d27b39d0eca186103228f322c9c98a125554a24f875f0f7e
  {"label":"first_mask", "method":{"desensType":"mask", "type":"user_define", "before":1, "after":0}}{"label":"last_mask", "method":{"desensType":"mask", "type":"user_define", "before":0, "after":1}}	自定义内容脱敏。	无

示例数据

准备一张数据源，您也可以使用业务数据。

--创建数据库
CREATE DATABASE hg_anon_demo;
--创建样例数据表
DROP TABLE IF EXISTS personal_basic_information;
CREATE TABLE personal_basic_information  
(
    name TEXT
    ,email TEXT
    ,ip TEXT
    ,id TEXT 
    ,phone TEXT
    ,bank_id TEXT);
--插入样例数据
INSERT INTO personal_basic_information(name,email,ip,id,phone,bank_id) VALUES 
('张三','jiaxi.jx@alibaba-inc.com','127.0.0.1','142732199104050022','18157161223','4514610803067088'),
('李四','wb-hy583084@antgroup.com','127.0.0.1','510622198412248000','15757121834','6252470010027800'),
('李逍遥','wb-hy583084@antgroup.com','172.21.4.234','511025198812271696','18215451832','6252470010027800');

为某列设置脱敏规则

--创建hg_anon扩展函数。
CREATE EXTENSION IF NOT EXISTS hg_anon;

--为数据库hg_anon_demo开启数据脱敏功能。
ALTER DATABASE hg_anon_demo SET hg_anon_enable = on;

--设置每一列的脱敏规则
SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.name IS 'name';
SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.id IS 'id';
SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.phone IS 'phone';
SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.email IS 'email';
SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.bank_id IS 'bank_id';
SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.ip IS 'ip';

新建连接后，使用如下命令，查看脱敏结果。

SELECT * FROM personal_basic_information;

返回结果如下。

name |         email          |      ip      |         id         |    phone    |     bank_id      
------+------------------------+--------------+--------------------+-------------+------------------
 *四  | wb-***@antgroup.com    | 127.*.*.*    | 5****************0 | *********34 | ************7800
 **遥 | wb-***@antgroup.com    | 172.**.*.*** | 5****************6 | *********32 | ************7800
 *三  | jia***@alibaba-inc.com | 127.*.*.*    | 1****************2 | *********23 | ************7088
(3 rows)

取消某列的脱敏

SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.name IS null;
SECURITY LABEL FOR hg_anon ON COLUMN personal_basic_information.id IS null;

使用如下命令，查看取消某列脱敏的结果。

SELECT name,id FROM personal_basic_information;

返回结果如下。

SELECT name,id FROM personal_basic_information;
  name  |         id         
--------+--------------------
 李四   | 510622198412248000
 李逍遥 | 511025198812271696
 张三   | 142732199104050022
(3 rows)

取消某个用户的脱敏规则

--取消basic账号取消所有的脱敏
SECURITY LABEL FOR hg_anon ON ROLE "BASIC$test" IS 'all:unmasked';

使用如下命令，查看取消某个用户脱敏的结果。

SELECT * FROM personal_basic_information;

返回结果如下。

  name  |          email           |      ip      |         id         |    phone    |     bank_id      
--------+--------------------------+--------------+--------------------+-------------+------------------
 李四   | wb-hy583084@antgroup.com | 127.0.0.1    | 510622198412248000 | 15757121834 | 6252470010027800
 李逍遥 | wb-hy583084@antgroup.com | 172.21.4.234 | 511025198812271696 | 18215451832 | 6252470010027800
 张三   | jiaxi.jx@alibaba-inc.com | 127.0.0.1    | 142732199104050022 | 18157161223 | 4514610803067088
(3 rows)

JOIN列设置脱敏

--示例join列设置脱敏
CREATE TABLE tbl1 (
    id text
);
INSERT INTO tbl1
    VALUES ('142732199102290022');

--其中personal_basic_information表的id列已经设置了脱敏
SELECT * FROM personal_basic_information a JOIN tbl1 b ON a.id = b.id;

返回结果如下。

name | email | ip | id | phone | bank_id | id 
------+-------+----+----+-------+---------+----
(0 rows)