主页

索引

模块索引

搜索页面

关键定义

分布式训练

• 通用
• Pipeline Parallelism
• Tensor Parallesim

激活函数

• 激活函数-Sigmoid
• 激活函数-ReLU
• 激活函数-Leaky ReLU
• 激活函数-Tanh
• 激活函数-GELU
• 归一化-L1
• 归一化-L2
• 概率分布-Softmax
• 概率分布-logsoftmax
• 概率分布-Sparsemax

损失函数

• 损失函数-分类-cross-entropy(交叉熵)
• 损失函数-分类-负对数似然损失NLL Loss
• 损失函数-分类-对数损失(Log Loss)
• 损失函数-分类-KL 散度(KL Loss)
• 损失函数-回归-均方误差(MSE)
• 损失函数-回归-平均绝对误差(MAE)
• 损失函数-回归-Huber 损失
• 损失函数-回归-对数余弦损失(Log-Cosh Loss)
• 权重衰减(L2正则化)

调优函数

• GD(梯度下降)
• SGD随机梯度下降
• RMSprop
• Adam
• AdamW
• Momentum

命名实体识别

• HMM-隐马尔可夫模型
• WWM-Whole Word Masking
• CRF-条件随机场

神经网络

• ANN(NN)
• 深度神经网络(Deep Neural Network, DNN)
• 卷积神经网络(Convolutional Neural Network, CNN)
• RNN: 循环神经网(Recurrent Neural Network, RNN)
• LSTM: 长短时记忆(Long Short Term Memory, LSTM)

深度神经网络理论

• 前向/反向传播
• Linear Layer
• Feedforward Network-前馈网络
• LayerNorm(层归一化)
• Weight Tying
• Greedy Decoding
• Image Grounding
• Perplexity(PPL)困惑度

3D

• Manhattan World(曼哈顿世界)
• Hough Transform（霍夫变换）
• 极坐标表示法(Polar Coordinate System)
• Gaussian Sphere（高斯球）
• 边缘方向 Edge Direction
• NormalVector法向量

其他

• 判别式模型vs生成式模型
• AllReduce
• Embedding 模型
• BPE
• LLM
• Kullback-Leibler 散度
• 深度学习相关
• 矢量化计算(Vectorize calculations)
• 其他

主页

索引

模块索引

搜索页面