博客

详解TensorFlow的 tf.nn.sparse_softmax_cross_entropy_with_logits 函数：稀疏 softmax 交叉熵损失函数

  • Post category:Python

TensorFlow的 tf.nn.sparse_softmax_cross_entropy_with_logits 函数是用来计算softmax的交叉熵损失的函数。softmax是一种常用的分类函数，而交叉熵是常用的评价分类效果的指标之一。在深度学习中，常常使用交叉熵作为损失函数，优化模型参数，使得模型的输出结果和实际结果更加接近。

这个函数的使用方法如下：

tf.nn.sparse_softmax_cross_entropy_with_logits(
    labels=None,
    logits=None,
    name=None
)

其中，参数 labels 是实际分类结果，是一个 Tensor 类型的数据，每一个值代表一个样本的分类。logits 是神经网络最后一层的输出结果，也就是没有经过 softmax 处理的原始输出。这个函数会自动对 logits 进行 softmax 处理，同时计算交叉熵损失。最后返回一个 Tensor 类型的损失值。

下面给出两个使用实例，来更好地说明这个函数的使用方法：

Example 1：

构建一个简单的模型，模型共两个神经元，然后用 tf.nn.sparse_softmax_cross_entropy_with_logits 计算交叉熵损失值。

import tensorflow as tf

# 定义模型参数
W = tf.Variable(tf.zeros([2, 2]))
b = tf.Variable(tf.zeros([2]))

# 定义模型结构
x = tf.placeholder(tf.float32, [None, 2])
y = tf.nn.softmax(tf.matmul(x, W) + b)
y_ = tf.placeholder(tf.int32, [None])

# 定义损失函数
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y_, logits=y)

在这个例子中，我们用 y_ 表示实际分类标签，用一个占位符 x 来传递输入数据，然后通过最后一层的神经元输出 y 计算 softmax 值，再用这个函数计算交叉熵损失值。

Example 2：

一个常见的使用实例是在 TensorFlow 内置的 MNIST 手写数字识别数据集中。这里可以使用 tf.keras 中的包装函数进行快速处理：

import tensorflow as tf
from tensorflow import keras

# 加载数据集
num_classes = 10
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()

# 数据预处理
x_train = x_train.astype("float32") / 255
x_test = x_test.astype("float32") / 255

# 构建神经网络
model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dense(num_classes)
])

# 编译模型
model.compile(loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              optimizer=tf.keras.optimizers.Adam(),
              metrics=['accuracy'])

# 训练模型
model.fit(x_train, y_train, epochs=5, validation_data=(x_test, y_test))

这里我们用 from_logits=True 表示模型的最后一层输出的是没有经过 softmax 处理的原始输出。这样计算交叉熵损失时，这个函数内部会自动执行 softmax 操作，以便计算损失值。

Tags: