博客

详解TensorFlow的 tf.contrib.layers.batch_norm 函数：批归一化层

  • Post category:Python

TensorFlow中的Batch Normalization

Batch Normalization是处理神经网络模型中输入数据的一种标准化方式，其主要目的是减少神经网络模型中发生梯度消失的情况，从而增强模型的鲁棒性。TensorFlow通过提供tf.contrib.layers.batch_norm函数支持独立的Batch Normalization函数，本攻略将详细讲解TensorFlow中的tf.contrib.layers.batch_norm函数。

tf.contrib.layers.batch_norm函数的作用

tf.contrib.layers.batch_norm是TensorFlow中的Batch Normalization函数。它的作用是对输入进行标准化处理，将输入中每个样本的特征值减去该特征值所有样本的均值，再除以该特征值所有样本的方差。

Batch Normalization的标准化有两个好处。一是有利于在函数输入中保留更多的信息，更好地进行模型拟合；二是可以控制模型中参数的大小，提高模型的泛化能力。

tf.contrib.layers.batch_norm函数的使用方法

tf.contrib.layers.batch_norm函数一般用来创建一个Batch Normalization层。我们需要传递一些参数来定义这个Batch Normalization层。以下是其主要参数：

  • inputs：当前层的输入；
  • is_training：标识当前是处于训练还是测试状态；
  • decay：表示均值和方差的移动平均值的衰减率。该值越接近1，则需要更多的步骤才能更新移动平均值；该值越接近0，则移动平均值的更新速度越快；
  • updates_collections：表示对移动平均值进行更新的集合，如果是None，则使用tf.GraphKeys.UPDATE_OPS。

首先很重要的是调用函数之前需要对传入的inputs进行数据处理，一般使用tf.contrib.layers.conv2d或tf.contrib.layers.fully_connected函数对数据进行预处理。接下来，我们就以一个简单的卷积神经网络为例，来演示tf.contrib.layers.batch_norm的使用方法。

import tensorflow as tf

# 准备数据
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])

# 定义网络结构
# 进行转换，将输入变成28*28的形状
img = tf.reshape(x, [-1, 28, 28, 1])

# 第一层卷积层，使用tf.contrib.layers.conv2d实现卷积
conv1 = tf.contrib.layers.conv2d(
    inputs=img,
    num_outputs=32,
    kernel_size=[5, 5],
    stride=[1, 1],
    padding='SAME',
    scope='conv1'
)

# BatchNorm层的输出，可以用在激活之前
conv1_bn = tf.contrib.layers.batch_norm(conv1, center=True, scale=True, is_training=True, scope='conv1_bn')

# 通过relu激活函数
relu1 = tf.nn.relu(conv1_bn)

# 第二层卷积层
conv2 = tf.contrib.layers.conv2d(
    inputs=relu1,
    num_outputs=64,
    kernel_size=[5, 5],
    stride=[1, 1],
    padding='SAME',
    scope='conv2'
)

# BatchNorm层的输出，可以用在激活之前
conv2_bn = tf.contrib.layers.batch_norm(conv2, center=True, scale=True, is_training=True, scope='conv2_bn')

# 通过relu激活函数
relu2 = tf.nn.relu(conv2_bn)

# 通过tf.contrib.layers.flatten将数据扁平化
flatten = tf.contrib.layers.flatten(relu2)

# 全连接层
fc = tf.contrib.layers.fully_connected(
    inputs=flatten,
    num_outputs=1024,
    scope='fc'
)

# BatchNorm层的输出，可以用在激活之前
fc_bn = tf.contrib.layers.batch_norm(fc, center=True, scale=True, is_training=True, scope='fc_bn')

# 通过relu激活函数
relu3 = tf.nn.relu(fc_bn)

# 输出层
logits = tf.contrib.layers.fully_connected(
    inputs=relu3,
    num_outputs=10,
    activation_fn=None,
    scope='logits'
)

# 计算损失函数
cross_entropy = tf.reduce_mean(
    tf.nn.softmax_cross_entropy_with_logits_v2(labels=y, logits=logits)
)

# 定义训练方式
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

# 定义精确度计算方式
correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(y, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 进行训练
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(2000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y: batch_ys})
        if i % 100 == 0:
            acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
            print("Epoch {}, Accuracy: {:.4f}".format(i, acc))

上述代码中，我们定义了一个神经网络模型，并在该模型的每一层使用tf.contrib.layers.batch_norm函数来实现Batch Normalization。

其中，我们使用了tf.contrib.layers.conv2d和tf.contrib.layers.fully_connected函数实现了模型中的卷积层和全连接层，在这些层的输出上直接调用tf.contrib.layers.batch_norm函数来实现Batch Normalization。同时，我们也使用了一些其它的帮助函数，如tf.reshape，tf.nn.relu和tf.reduce_mean等函数来预处理数据和计算结果。

Tags: