主页

索引

模块索引

搜索页面

2. 理论

• 2.1. 关键定义
  • 2.1.1. 通用
    • 分布式训练的优化目标
  • 2.1.2. Pipeline Parallelism
  • 2.1.3. Tensor Parallesim
  • 2.1.4. 激活函数-Sigmoid
  • 2.1.5. 激活函数-ReLU
    • 为什么要用ReLU呢?
    • ReLU的优势在哪儿呢
    • ReLU有什么弱点
    • 常见的激活函数
  • 2.1.6. 激活函数-Leaky ReLU
  • 2.1.7. 激活函数-Tanh
  • 2.1.8. 激活函数-GELU
    • 其他
  • 2.1.9. 归一化-L1
  • 2.1.10. 归一化-L2
  • 2.1.11. 概率分布-Softmax
  • 2.1.12. 概率分布-logsoftmax
  • 2.1.13. 概率分布-Sparsemax
  • 2.1.14. 损失函数-分类-cross-entropy(交叉熵)
    • 定义
      • 单样本多分类交叉熵的公式
      • 二分类单样本交叉熵损失的公式
      • 批量多分类交叉熵损失函数的公式
      • 生成式语言模型交叉熵损失函数的公式
    • 作用
    • 使用场景
    • 示例
      • 猜一个单词
      • 代码讲解
  • 2.1.15. 损失函数-分类-负对数似然损失NLL Loss
    • 核心思想
    • 特性
    • 示例
    • 优点与不足
  • 2.1.16. 损失函数-分类-对数损失(Log Loss)
  • 2.1.17. 损失函数-分类-KL 散度(KL Loss)
    • 定义：KL 散度
      • 一、核心概念：衡量两个概率分布的“差异”
      • 二、一个生动的例子：新闻编码
      • 三、重要性质
      • 四、公式
      • 五、主要应用场景
      • 六、变体或替代方法
    • KL 散度作为损失函数
      • 工作原理
      • 具体应用场景
        • 1. 分类任务（最经典的例子）
        • 2. 生成模型（如VAE, GANs）
        • 3. 贝叶斯推理与变分推断
        • 4. 强化学习
  • 2.1.18. 损失函数-回归-均方误差(MSE)
  • 2.1.19. 损失函数-回归-平均绝对误差(MAE)
  • 2.1.20. 损失函数-回归-Huber 损失
  • 2.1.21. 损失函数-回归-对数余弦损失(Log-Cosh Loss)
  • 2.1.22. 权重衰减(L2正则化)
    • 数学定义
    • 目标
    • 作用
  • 2.1.23. GD(梯度下降)
    • 核心思想
    • 公式
    • 梯度下降的三种类型
    • 学习率的重要性
    • 优缺点
    • 代码示例说明
  • 2.1.24. SGD随机梯度下降
    • 核心思想
    • 公式
    • 优缺点
  • 2.1.25. RMSprop
    • 核心思想
    • 公式
    • 优缺点
  • 2.1.26. Adam
    • 核心思想
    • 公式
    • 优缺点
  • 2.1.27. AdamW
    • Adam 和权重衰减的问题
    • 公式
    • 与Adam的区别
    • 优缺点
  • 2.1.28. Momentum
    • 核心思想
    • 公式
    • 优缺点
    • 代码示例
  • 2.1.29. HMM-隐马尔可夫模型
    • 基本概念
    • 通用
    • 示例-今天是晴天,明天的天气是多云的概率
  • 2.1.30. WWM-Whole Word Masking
  • 2.1.31. CRF-条件随机场
    • 基本概念
    • 模型定义
    • 应用
    • 示例-把’小明喜欢吃苹果’进行词性标注
  • 2.1.32. ANN(NN)
    • 神经元
    • 连接
    • 神经网络的训练
      • 训练算法
    • 参考
  • 2.1.33. 深度神经网络(Deep Neural Network, DNN)
  • 2.1.34. 卷积神经网络(Convolutional Neural Network, CNN)
    • 参考
  • 2.1.35. RNN: 循环神经网(Recurrent Neural Network, RNN)
    • 参考
  • 2.1.36. LSTM: 长短时记忆(Long Short Term Memory, LSTM)
    • RNN vs LSTM
    • 参考
  • 2.1.37. 前向/反向传播
    • 神经元
    • 感知机和神经网络
      • Boltzmann机和受限Boltzmann机
      • RBF网络
      • ART网络
      • SOM网络
    • forward propagation 前向传播
      • 1.输入层—->隐含层
      • 2.隐含层—->输出层
    • backward propagation 反向传播
      • 1.计算总误差
      • 2.隐含层—->输出层(w5-w8)的权值更新
      • 3.输入层—>隐含层的权值(w1-w4)更新
    • $\frac{1}{1+e^{-n}}$ 求导公式推理
    • 演示Demo
    • 图示例反向传播
    • 参考
  • 2.1.38. Linear Layer
    • 为什么叫 Feedforward Layer
    • 为什么叫 Fully Connected Layer
    • 应用场景与作用
  • 2.1.39. Feedforward Network-前馈网络
    • Feedforward Network 的结构
    • 工作原理
    • 数学公式
  • 2.1.40. LayerNorm(层归一化)
    • 1. Post-LayerNorm
      • 计算公式
      • 特点
    • 2. Pre-LayerNorm
      • 计算公式
      • 特点
  • 2.1.41. Weight Tying
    • 定义
    • 为什么使用 Weight Tying
    • 实际运作方式
    • 应用场景
  • 2.1.42. Greedy Decoding
    • 定义
    • 流程
    • 优缺点
    • 应用场景
    • 与其他解码方法的比较
  • 2.1.43. Image Grounding
    • 定义
    • Grounding 的常见方法和流程
    • 应用场景
  • 2.1.44. Perplexity(PPL)困惑度
    • 定义
      • 生成式语言模型困惑度
    • 直观理解
    • 计算示例
    • 注意事项
    • 总结
  • 2.1.45. Manhattan World(曼哈顿世界)
    • 作用
    • 举例说明
    • 拓展: 非曼哈顿世界(Non-Manhattan World)
  • 2.1.46. Hough Transform（霍夫变换）
    • 🌟 一句话理解：
    • 📐 最经典应用：检测直线
    • 🔢 直线的参数形式
    • 🔁 基本原理
    • 🌀 霍夫变换也可以检测其他形状
    • 📦 应用场景
    • 🧠 总结一句话：
  • 2.1.47. 极坐标表示法(Polar Coordinate System)
    • 🌟 一句话理解：
    • 🧭 具体定义
    • 🔁 极坐标和笛卡尔坐标之间的转换
    • 📐 为什么图像处理里喜欢用它？
    • 📌 应用举例
    • 🧠 总结一句话：
  • 2.1.48. Gaussian Sphere（高斯球）
    • 🌟 一句话理解：
    • 高斯图、高斯映射
    • 📐 高斯球的基本定义
    • 🔄 用途举例
      • 1. 法向量聚类与可视化
      • 2. 消失点检测中的方向编码
      • 3. 光照与环境建模（球面调和）
      • 4. 深度学习中的方向特征表示
    • 🧠 总结一句话：
  • 2.1.49. 边缘方向 Edge Direction
    • 🔹1.图像空间中的边缘方向（2D）
    • 🔹2.三维空间中的边缘方向（3D）
    • 🔹总结
  • 2.1.50. NormalVector法向量
    • 🌟 一句话理解：
    • 📐 数学定义
    • 🧱 举个例子
    • 📊 在计算机视觉/图形学中的作用
      • ✅ 1. 3D 模型与点云处理
      • ✅ 2. 表面平滑与分割
      • ✅ 3. 消失点与几何先验
    • 🔄 法向量的获取方式
    • 🧠 总结一句话：
  • 2.1.51. 判别式模型vs生成式模型
    • 判别式模型
      • 数学公式
    • 生成式模型
      • 数学公式
  • 2.1.52. AllReduce
    • 优势
    • 典型应用
  • 2.1.53. Embedding 模型
    • 向量
    • 特征向量
    • Embedding
    • 向量相似度检索
    • 向量相似度检索算法
  • 2.1.54. BPE
    • 核心流程
    • 优点
    • 演示示例
    • 使用示例
    • 使用场景
  • 2.1.55. LLM
    • MoE架构
    • NLI
    • 生成文本验证
      • SAFE
      • FActScore
      • 参考
    • ALCE
    • 训练方法
      • 预训练
      • 微调
      • 再次预训练
      • 推理
    • 其他
      • 消融实验
  • 2.1.56. 深度学习相关
    • computation graph(计算图)
    • Gradients Descent 梯度下降
    • 激活函数
    • Loss Function 损失函数
  • 2.1.57. 矢量化计算(Vectorize calculations)
    • 核心思想
    • 例子
  • 2.1.58. 其他
• 2.2. 临时
  • 2.2.1. ReAct框架
    • 组成部分
    • 工作流程
    • 优势
    • 示例
  • 2.2.2. Reflection反思
  • 2.2.3. 数学
    • 线性拟合
    • 多项式拟合
    • 归一化
  • 2.2.4. bag-of-words
    • 示例说明
    • N-Grams
  • 2.2.5. Word2Vec
    • Review: Bag-of-words
    • Word2Vec
    • 参考
  • 2.2.6. Doc2Vec
    • Review: Word2Vec Model
    • Doc2Vec
    • Gensim
    • 参考
  • 2.2.7. FastText
    • 基本概念
    • 局限性
    • 与Word2Vec对比
    • Training models
    • 参考
  • 2.2.8. LDA-Latent Dirichlet Allocation(潜在狄利克雷分配)
    • Ensemble LDA
    • LDA Model
    • 参考
  • 2.2.9. overfitting&underfitting
    • 以决策树为例讲解
    • 参考
  • 2.2.10. RAG
    • 简介
    • 知识图谱KG
    • 属性图谱PG
    • RAG
    • GraphRAG
    • Adaptive RAG
    • Corrective RAG
    • 参考
  • 2.2.11. Agent
    • 优势
    • Planning
    • Relection and refinement
      • Relfexion
      • ReAct
    • Memory
      • sensory memory
      • short-term memory
      • long-term memory
    • Tools
      • Tool Use框架
      • Tool Use微调
    • 参考
  • 2.2.12. LLM
    • 参考
  • 2.2.13. RL-强化学习
    • RL算法
  • 2.2.14. Prompt Engineering
  • 2.2.15. LLM调优(finetune)
    • PT (Pre-training)
    • SFT (Supervised Fine-Tuning)
    • RM (Reward Modeling)
    • PPO (Proximal Policy Optimization)
    • DPO (Direct Preference Optimization)
    • KTO (Knowledge Transfer Optimization)
  • 2.2.16. Workflow
  • 2.2.17. 通用
    • LLM-based auto-annotators
      • 核心概念详解
        • 1. 它要解决什么问题？
        • 2. 它是如何工作的？
        • 3. 为什么它如此重要？
      • 存在的挑战与局限性（也就是这篇论文的背景）
      • 总结
    • 反事实预测(Counterfactual Prediction)
      • 1. “事实”是什么？
      • 2. “反事实”是什么？
      • 3. 论文如何实现这个“反事实预测”？
      • 一个简单的比喻
      • 总结为什么论文里用这个词：
    • Elo 评分系统
      • 核心概念
      • 它是如何工作的？
        • 1. 核心组件：
        • 2. 核心流程：
      • 一个简单的例子
      • 在LLM评估中的应用（如LMSYS Chatbot Arena）
    • 逆强化学习（Inverse Reinforcement Learning）
      • 核心思想一句话概括
      • 为什么需要IRL？—— 动机
      • IRL的基本假设
      • IRL的核心问题与挑战
      • IRL的一般流程
      • 经典算法举例
      • IRL vs 模仿学习（Imitation Learning）
      • 应用领域
      • 总结

主页

索引

模块索引

搜索页面