概率分布-logsoftmax¶
用途: 用于数值稳定的分类问题。
Softmax 的对数形式,常用于数值更稳定的交叉熵损失计算。
定义: \(\text{logsoftmax}(x_i) = log(\frac{e^{x_i}}{\sum_{j=1}^n e^{x_j}})\)
简化形式: \(\text{logsoftmax}(x_i) = x_i - log(\sum_{j=1}^n e^{x_j})\)
from torch.nn.functional import log_softmax
log_probs = log_softmax(x, dim=1)