Responsible AI-公平性分析

Sklearn

from sklearn.linear_model import LogisticRegression

# 创建逻辑回归模型
sk_model = LogisticRegression(solver='liblinear', fit_intercept=True)
# 模型训练
sk_model.fit(X_train, y_train)

PyTorch

import torch
import torch.nn as nn
import torch.optim as optim

# 定义逻辑回归模型
class LogisticRegression(nn.Module):
    def __init__(self, input_size):
        super(LogisticRegression, self).__init__()
        self.linear = nn.Linear(input_size, 1)

    def forward(self, x):
        outputs = torch.sigmoid(self.linear(x))
        return outputs

# 实例化模型
input_size = X_train.shape[1]
pt_model = LogisticRegression(input_size)

# 损失函数和优化器
criterion = nn.BCELoss()
optimizer = optim.SGD(pt_model.parameters(), lr=5e-5)

# 训练模型
num_epochs = 1
X_train_pt = X_train
y_train_pt = y_train
for epoch in range(num_epochs):
    # 前向传播
    # DataFrame 转换为 Tensor
    if isinstance(X_train_pt, pd.DataFrame):
        X_train_pt = torch.tensor(X_train_pt.values)
        X_train_pt = X_train_pt.float()
    outputs = pt_model(X_train_pt)
    outputs = outputs.squeeze()
    # ndarray 转换为 Tensor
    if isinstance(y_train_pt, np.ndarray):
        y_train_pt = torch.from_numpy(y_train_pt)
        y_train_pt = y_train_pt.float()
    loss = criterion(outputs, y_train_pt)

    # 反向传播和优化
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

TensorFlow

import tensorflow as tf
from tensorflow.keras import layers

# 定义逻辑回归模型
tf_model = tf.keras.Sequential([
    layers.Dense(units=1, input_shape=(X_train.shape[-1],), activation='sigmoid')
])

# 编译模型，使用二元交叉熵损失和随机梯度下降优化器
tf_model.compile(optimizer='sgd', loss='binary_crossentropy', metrics=['accuracy'])

# 训练模型
tf_model.fit(X_train, y_train, epochs=1, batch_size=32, verbose=0)

Sklearn

from raiwidgets import FairnessDashboard
import os
from urllib.parse import urlparse
# 根据测试数据集进行预测结果
y_pred_sk = sk_model.predict(X_test)

# 使用 responsible-ai-toolbox  计算每个敏感群体的数据信息
metric_frame_sk = FairnessDashboard(sensitive_features=sensitive_features_test,
                  y_true=y_test,
                  y_pred=y_pred_sk, locale = 'zh-Hans')

# 设置URL跳转链接
metric_frame_sk.config['baseUrl'] =  'https://{}-proxy-{}.dsw-gateway-{}.data.aliyun.com'.format(
    os.environ.get('JUPYTER_NAME').replace("dsw-",""),
    urlparse(metric_frame_sk.config['baseUrl']).port,
    os.environ.get('dsw_region') )
print(metric_frame_sk.config['baseUrl'])

PyTorch

from raiwidgets import FairnessDashboard
import torch
import os
from urllib.parse import urlparse
# 测试模型并评估公平性
pt_model.eval()  # 设置模型为评估模式
X_test_pt = X_test
with torch.no_grad():
    X_test_pt = torch.tensor(X_test_pt.values)
    X_test_pt = X_test_pt.float()
    y_pred_pt = pt_model(X_test_pt).numpy()

# 使用 responsible-ai-toolbox  计算每个敏感群体的数据信息
metric_frame_pt = FairnessDashboard(sensitive_features=sensitive_features_test,
                           y_true=y_test,
                           y_pred=y_pred_pt.flatten().round(),locale='zh-Hans')

# 设置URL跳转链接
metric_frame_pt.config['baseUrl'] =  'https://{}-proxy-{}.dsw-gateway-{}.data.aliyun.com'.format(
    os.environ.get('JUPYTER_NAME').replace("dsw-",""),
    urlparse(metric_frame_pt.config['baseUrl']).port,
    os.environ.get('dsw_region') )
print(metric_frame_pt.config['baseUrl'])

TensorFlow

from raiwidgets import FairnessDashboard
import os
from urllib.parse import urlparse
# 测试模型并评估公平性
y_pred_tf = tf_model.predict(X_test).flatten()

# 使用 responsible-ai-toolbox  计算每个敏感群体的数据信息
metric_frame_tf = FairnessDashboard(
                           sensitive_features=sensitive_features_test,
                           y_true=y_test,
                           y_pred=y_pred_tf.round(),locale='zh-Hans')

# 设置URL跳转链接
metric_frame_tf.config['baseUrl'] =  'https://{}-proxy-{}.dsw-gateway-{}.data.aliyun.com'.format(
    os.environ.get('JUPYTER_NAME').replace("dsw-",""),
    urlparse(metric_frame_tf.config['baseUrl']).port,
    os.environ.get('dsw_region') )
print(metric_frame_tf.config['baseUrl'])

敏感特征为“sex”

• 敏感特征：sex

• 性能指标：Accuracy

• 公平性指标：Demographic parity difference

• Accuracy：精确度，是指模型正确预测的样本数占总样本数的比例。模型输出男性个人年收入的准确度（81.6%）低于女性个人年收入的准确度（93.1%），但是两者的准确度与模型总体准确度（85.4%）都比较接近。

• Selection rate：选择率，是指模型输出“好”的目标变量的概率，这里“好”的目标变量是个人年收入>50K。模型输出男性个人年收入>50K的概率（25.7%）大于女性个人年收入>50K的概率（7.36%），并且模型输出女性个人年收入>50K的概率（7.36%）远低于个人年收入>50K的总体概率（19.6%）。

• Demographic parity difference：人口统计公平性差异，是指不同受保护群体之间，在指定的敏感属性下获得积极预测结果的概率差异。这个值越接近0，意味着群体间的偏差越小。模型总体的人口统计公平性差异为18.3%。

敏感特征为“race”

• 敏感特征：race

• 性能指标：Accuracy

• 公平性指标：Demographic parity difference

• Accuracy：精确度，是指模型正确预测的样本数占总样本数的比例。模型输出“White”和“Asian-Pac-Islander”个人年收入的准确度（84.9%和79.1%）低于“Black”、“Other”和“Amer-Indian-Eskimo”个人年收入的准确度（90.9%、90.8%和91.9%），但是所有敏感特征人群的准确度与模型总体准确度（85.4%）都比较接近。

• Selection rate：选择率，是指模型输出“好”的目标变量的概率，这里“好”的目标变量是个人年收入>50K。模型输出“White”和“Asian-Pac-Islander”个人年收入>50K的选择率（21%和23.9%）大于“Black”、“Other”和“Amer-Indian-Eskimo”个人年收入>50K的选择率 （8.34%、10.3%和8.14%），并且“Black”、“Other”和“Amer-Indian-Eskimo”个人年收入>50K的选择率（8.34%、10.3%和8.14%）远低于个人年收入>50K的总体选择率（19.6%）。

• Demographic parity difference：人口统计公平性差异，是指不同受保护群体之间，在指定的敏感属性下获得积极预测结果的概率差异。这个值越接近0，意味着群体间的偏差越小。模型总体的人口统计公平性差异为15.8%。