理论¶
理论
- 常用
- 关键定义
- 激活函数-Sigmoid
- 激活函数-ReLU
- 激活函数-Leaky ReLU
- 激活函数-Tanh
- 激活函数-GELU
- 归一化-L1
- 归一化-L2
- 概率分布-Softmax
- 概率分布-logsoftmax
- 概率分布-Sparsemax
- 损失函数-分类-cross-entropy(交叉熵)
- 损失函数-分类-对数损失(Log Loss)
- 损失函数-分类-KL 散度(KL Loss)
- 损失函数-回归-均方误差(MSE)
- 损失函数-回归-平均绝对误差(MAE)
- 损失函数-回归-Huber 损失
- 损失函数-回归-对数余弦损失(Log-Cosh Loss)
- GD(梯度下降)
- SGD随机梯度下降
- RMSprop
- Adam
- AdamW
- Momentum
- HMM-隐马尔可夫模型
- WWM-Whole Word Masking
- CRF-条件随机场
- MLE-最大似然估计
- ANN(NN)
- 深度神经网络(Deep Neural Network, DNN)
- 卷积神经网络(Convolutional Neural Network, CNN)
- RNN: 循环神经网(Recurrent Neural Network, RNN)
- LSTM: 长短时记忆(Long Short Term Memory, LSTM)
- 前向/反向传播
- Linear Layer
- Feedforward Network-前馈网络
- LayerNorm(层归一化)
- Weight Tying
- Greedy Decoding
- Image Grounding
- Perplexity(PPL)困惑度
- 判别式模型vs生成式模型
- Embedding 模型
- BPE
- LLM
- 深度学习相关
- 其他
- 数学方法
- 分析方法
- 安全
- 定理-原理
- 学习相关
- 经济
- 心理学
- 创业
- 其他