tensorflow学习笔记(三十一)构建多gpu代码.docVIP

tensorflow学习笔记（三十一）：构建多GPU代码 构建多GPU代码结构先构建单GPU代码写个函数multi_gpu_model(num_gpus)来生成多GPU代码，并将对象保存在collection中feed datarun如何构建单GPU代码见之前博客构建TF代码 不要在单GPU代码中创建optimizer op,因为是multi gpu，所以参数更新的操作是所有的GPU计算完梯度之后，才进行更新的。如何实现multi_gpu_model函数def multi_gpu_model(num_gpus=1): grads = [] for i in range(num_gpus): with tf.device(/gpu:%d%i): with _scope(tower_%d%i): model = Model(is_training, config, scope) # 放到collection中，方便feed的时候取 tf.add_to_collection(train_model, model) grads.append(model.grad) #grad 是通过tf.gradients(loss, vars)求得 #以下这些add_to_collection可以直接在模型内部完成。 # 将loss放到 collection中， 方便以后操作 tf.add_to_collection(loss,model.loss) #将predict放到collection中，方便操作 tf.add_to_collection(predict, model.predict) #将 summary.merge op放到collection中，方便操作 tf.add_to_collection(merge_summary, model.merge_summary) # ... with tf.device(cpu:0): averaged_gradients = average_gradients(grads)# average_gradients后面说明 opt = tf.train.GradientDescentOptimizer(learning_rate) train_op=opt.apply_gradients(zip(average_gradients,tf.trainable_variables())) return train_op12345678910111213141516171819202122231234567891011121314151617181920212223如何feed data def generate_feed_dic(model, feed_dict, batch_generator): x, y = batch_generator.next_batch() feed_dict[model.x] = x feed_dict[model.y] = y 123456123456如何实现run_epoch#这里的scope是用来区别 train 还是 test def run_epoch(session, data_set, scope, train_op=None, is_training=True): batch_generator = BatchGenerator(data_set, batch_size) ... ... if is_training and train_op is not None: models = tf.get_collection(train_model) # 生成 feed_dict feed_dic = {} for model in models: generate_feed_dic(model, feed_dic, batch_generator) #生成fetch_dict losses = tf.get_collection(loss, scope)#保证了在 test的时候，不会fetch train的loss ... ... 1234567891011121314151612345678910111213141516main函数main 函数干了以下几件事： 1. 数据处理 2. 建立多GPU训