全部产品
云市场

PAI图像语义分割训练

更新时间:2020-05-11 14:26:12

简介

图像分割组件实现了基于deeplab-v3的语义分割模型,详细信息参考 Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

pai命令示例

单卡示例

  1. pai -name easy_vision_ext
  2. -Dbuckets='{bucket_name}.{oss_host}/{path}'
  3. -Darn='acs:ram::*********:role/aliyunodpspaidefaultrole'
  4. -DossHost='{oss_host}'
  5. -DgpuRequired=100
  6. -Dcmd train
  7. -Dparam_config '
  8. --model_type DeeplabV3
  9. --backbone resnet_v1_50
  10. --backbone_feature_stride 16
  11. --bn_trainable true
  12. --num_classes 21
  13. --num_epochs 1
  14. --model_dir oss://{bucket_name}/test/test_deeplabv3
  15. --train_data oss://pai-vision-data-sh/data/test/pascal_voc_seg_aug/voc_ev_train.tfrecord
  16. --test_data oss://pai-vision-data-sh/data/test/pascal_voc_seg_aug/voc_ev_train.tfrecord
  17. --num_test_example 2
  18. --train_batch_size 6
  19. --test_batch_size 1
  20. --image_crop_size 513
  21. --lr_type polynomial_decay
  22. --initial_learning_rate 0.007
  23. --power 0.9
  24. '

参数说明

参数名称 参数描述 参数值格式 默认值
buckets 使用的oss bucket地址 oss://{bucket_name}.{oss_host}/{path} 无,必选参数
arn 访问OSS的授权,可以在https://help.aliyun.com/document_detail/154186.html 的IO相关参数说明中找到获取方法 acs:ram::*:role/aliyunodpspaidefaultrole 无,必选参数
host oss的域名 oss-{region}.aliyuncs.com 可选参数,不填默认从buckets参数中获取
cluster 分布式训练参数配置,具体说明参考这里 json格式字符串 “”
gpuRequired 可选,标识是否使用GPU。默认是一张卡,200表示一个worker申请2张卡。 100 “”, 默认使用一张卡
cmd easy-vision任务类型, 训练时填train train 无,必选参数
param_config 模型训练参数,格式和python argparser参数格式一致,详细说明见param_config说明 字符串 无,必选参数

param_config说明

param_config 包含若干模型配置参数,格式遵循python argparser格式,示例如下,所有字符串均不需要加引号

  1. -Dparam_config = '
  2. --backbone inception_v4
  3. --num_classes 200
  4. --model_dir oss://your/bucket/exp_dir
  5. '
参数名称 参数描述 参数值格式 默认值
model_type 训练模型类型 字符串, 可选范围DeeplabV3 无,必选参数
backbone 分割模型使用的backbone 字符串格式,可取值范围:resnet_v1_50resnet_v1_101resnet_v1a_18resnet_v1a_34resnet_v1d_50resnet_v1d_101xception_41xception_65xception_71 无,必选参数
weight_decay l2 regularization的大小 浮点 1e-4
num_classes 分割类别数目(包括背景类) 21 无,必选参数
backbone_feature_stride 主干网络的特征分辨率(下采样步长) 整型,8或16 默认为16
bn_trainable BN是否可训练, 一般当train_batch_size大于8时,设置为true 布尔型 默认为true
image_crop_size 图片裁剪后大小 整型 可选参数,默认为513
optimizer 优化方法,其中momentum就是sgd 字符串,可选方法如下:momentumadam momentum
lr_type 学习率调整策略exponential_decay, 指数衰减,详细参考tf.train.exponential_decay polynomial_decay, 多项式衰减,详细参考tf.train.polynomial_decay, 其中num_steps自动设置为总的训练迭代次数,end_learning_rate为initial_learning_rate的千分之一 manual_step, 人工指定各阶段的学习率,通过decay_epochs 指定需要调整学习率的迭代轮数,通过learning_rates指定对应迭代轮数使用的学习率 cosine_decay,通过余弦曲线调制学习率变化,最终会降到0。详细参考论文,通过decay_epochs 指定需要调整学习率的迭代轮数 字符串,可选方法如下:exponential_decaypolynomial_decaymanual_stepcosine_decay exponential_decay
initial_learning_rate 初始学习率 浮点数 0.01
decay_epochs 如果使用exponential_decay, 参数对应 tf.train.exponential_decay中的decay_steps,后端会自动根据训练数据总数把decay_epochs转换为decay_steps。例如数值可填:10,一般是总epoch数的1/2。 如果使用manual_step, 参数表示需要调整学习率的迭代轮数, “16 18”表示在16epoch 18 epoch对学习率进行调整。一般这两个值取总设置的总epoch的8/10、9/10 整数列表20 20 40 60 20
decay_factor tf.train.exponential_decay 中的decay_factor 浮点数 0.95
staircase tf.train.exponential_decay 中的staircase 布尔 true
power tf.train.polynomial_decay 中的power float 0.9
learning_rates manual_step学习率调整策略中使用的参数,表示在指定epoch 学习率调整为多少. 如果您指定的调整epoch有两个,则需要在此也填写两个对应的学习率。例:decay_epoches为20 40,此处填写0.001 0.0001,则代表在20epoch学习率调整为0.001,40epoch学习率调整为0.0001。建议这几次调整的学习率是初始学习率的1/10、1/100、1/1000…… manual_step学习率调整策略中使用的参数,表示在指定epoch 学习率调整为多少 浮点列表
lr_warmup 是否对学习率做warmup 布尔 false
lr_warm_up_epochs 学习率warmup的轮数 浮点型 1
train_data 训练数据文件oss路径 oss://path/to/train_*.tfrecord 无,必选参数
test_data 训练过程中评估数据oss路径 oss://path/to/test_*.tfrecord 无,必选参数
train_batch_size 训练batch_size 整型, 例如32 无,必选参数
test_batch_size 评估batch_size 整型, 例如32 无,必选参数
train_num_readers 训练数据并发读取线程数 整型 4
model_dir 训练所用oss目录 oss://path/to/model 无,必选参数
pretrained_model 预训练模型oss路径,如果提供,会在此模型基础上finetune oss://pai-vision-data-sh/pretrained_models/inception_v4.ckpt “”
use_pretrained_model 是否使用预训练模型 布尔型 true
num_epochs 训练迭代轮数,1表示所有训练数据过了一遍 整型 40 无,必选参数
num_test_example 训练过程中评估数据条目数, -1表示使用所有测试数据集数据 整型,例如2000 可选,默认-1
num_visualizations 评估过程可视化显示的样本数目 整型 10
save_checkpoint_epochs 保存checkpoint的频率,以epoch为单位, 1表示每过一遍训练数据保存一次checkpoint 整型 1
save_summary_epochs 保存summary的频率,以epoch为单位, 0.01 表示每过1%训练数据保存一次summary 浮点 0.01
num_train_images 总的训练样本数,如果使用自己生成的tfrecord需要提供该信息 整型 可选,默认0
label_map_path 类别映射文件,如果使用自己生成的tfrecord需要提供该信息 字符串 可选,默认””