文档

分布式训练框架StarServer

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

分布式训练框架是深度学习和大规模机器学习中用于加速模型训练、处理海量数据以及提高系统稳定性和资源利用率的关键技术。它通过将复杂的模型分布在多个计算节点上实现并行计算,从而显著缩短训练时间,适应日益增长的数据集规模和大模型的训练需求。本文为您介绍如何使用分布式训练框架StarServer进行分布式训练。

StarServer不仅将原生TensorFlow中的Send/Recv语义修改为Pull/Push语义,而且实现了图执行过程中的Lock-Free,大幅度提高了并发执行子图效率。PAI-TF支持更大的训练规模和训练性能,针对典型业务场景,其训练性能比原生TensorFlow提升了数倍。其中,最大测试规模为3000 Worker时,PAI-TF达到近似线性扩展性。

警告

公共云GPU服务器即将过保下线,您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练,请前往DLC提交任务,具体操作请参见创建训练任务

开启StarServer分布式训练

使用StarServer进行分布式训练,需要在tf.train.Server中添加protocol="star_server"

cluster = tf.train.ClusterSpec({"ps": ps_hosts, "worker": worker_hosts})

server = tf.train.Server(cluster,
                         job_name=FLAGS.job_name,
                         task_index=FLAGS.task_index,
                         protocol="star_server")
  • 本页导读 (1)
文档反馈