2510.08396_FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts¶
引用: 4(2026-02-07)
组织:
1Department of Automation, Tsinghua University
2Academy of Medical Engineering and Translational Medicine, Tianjin University
总结¶
已经在25年发表在 NeurIPS
网上分析说，这篇论文是水文
From Moonlight¶
三句摘要¶
🪰 FlyLoRA受苍蝇嗅觉回路启发，提出了一种隐式MoE-based LoRA变体，其核心是通过冻结的稀疏随机投影矩阵A来统一专家路由和down-projection，并在B矩阵中实现rank-wise专家激活。
🚀 这种设计通过消除显式路由器参数解决了intra-task去相关与计算效率间的矛盾，并利用随机矩阵的正交特性从结构上缓解了multi-task模型融合时的inter-task干扰。
📊 在通用知识理解、科学问答、数学推理和代码生成等四个领域的大量实验表明，FlyLoRA在提供更高性能的同时，比现有方法更具参数效率。
关键词¶
FlyLoRA: 是本文提出的一种新型的基于混合专家（MoE）的LoRA变体，其设计灵感来源于果蝇嗅觉回路。它通过在LoRA的B矩阵中引入“秩级”专家激活（即每个秩被视为一个专家），并在A矩阵中实现一个“隐式路由”，来增强任务解耦和参数效率。具体来说，A矩阵被设计为一个固定的、稀疏的随机投影矩阵，它同时承担了下投影和专家选择（通过top-k机制激活B矩阵中对应的秩）的功能，从而消除了传统MoE中对额外可训练路由参数的需求。该方法旨在解决LoRA内部和LoRA组件间存在的参数干扰问题，提高模型在单任务微调和多任务模型合并场景下的性能。
LoRA: (Low-Rank Adaptation，低秩适配) 是一种广泛使用的参数高效微调（PEFT）方法
Mixture-of-Experts (MoE): (混合专家模型) 是一种神经网络架构
Parameter-Efficient Fine-Tuning (PEFT): (参数高效微调) 是指一系列旨在以最小的计算和存储资源将大型预训练模型适配到特定下游任务的技术。与全参数微调（Full FT）不同，PEFT方法只更新模型中一小部分参数，或者向模型中添加少量可训练参数，同时保持大部分预训练权重冻结。LoRA、Prefix-Tuning、Prompt-Tuning等都属于PEFT方法。其主要目标是在保持甚至提升性能的同时，显著降低微调的成本和部署的复杂性。
Implicit Router: (隐式路由) 是FlyLoRA中的一个关键创新点，它取代了传统MoE架构中单独的可训练路由模块。在FlyLoRA中，隐式路由的功能由固定的、稀疏的随机投影矩阵A来承担。当输入x通过A投影得到Ax后，FlyLoRA会根据Ax中元素的幅值进行top-k选择，只激活B矩阵中与这些top-k幅值对应的秩（即专家）。这种设计将下投影和专家选择的过程统一起来，无需额外的路由参数，从而提高了计算效率并避免了训练显式路由器的复杂性及不稳定性。
Task Decoupling: (任务解耦) 是指减少模型在学习不同任务或知识时产生的相互干扰的现象。在本文中，任务解耦分为两个层面：
Sparse Random Projection: (稀疏随机投影) 是一种将高维数据投影到低维（或相同维度但结构化）空间的方法，其中投影矩阵的元素是随机生成且大部分为零。在FlyLoRA中，LoRA的A矩阵被设计为一个“固定（frozen）的稀疏随机投影矩阵”。这个矩阵在模型初始化时被随机生成且保持不变，其每行只有p个非零元素。该设计对于FlyLoRA的两个核心贡献至关重要：一是作为隐式路由器，通过Ax的幅值进行top-k专家选择；二是其固有的近似正交性（当不同任务使用不同的随机A矩阵时），能够有效促进不同LoRA组件之间的解耦，尤其是在模型合并场景中。
Fly Olfactory Circuit: (果蝇嗅觉回路) 是指果蝇大脑中处理嗅觉信息的神经回路，其结构和功能启发了FlyLoRA的设计。这个回路的特点是，嗅觉信号从投射神经元（PNs）被随机地投射到数量更多的肯尼恩细胞（KCs），并且这种连接是稀疏的（每个KC只连接到部分PNs）。随后，一个“赢者通吃”（winner-take-all）机制选择性地激活少数肯尼恩细胞，从而对气味进行稀疏且去相关化的编码。这种“随机投影 + 稀疏选择”的生物学机制，直接对应了FlyLoRA中固定的稀疏随机A矩阵和top-k专家激活的设计。
Model Merging: (模型合并) 是一种训练无关的技术，旨在将多个在不同任务或领域上微调的模型（或其适配器，如LoRA组件）组合成一个单一的模型。通常通过对模型的权重或权重增量进行平均或其他形式的组合来实现。其主要目的是创建一个能够处理多种任务的通用模型，而无需为每项任务部署单独的模型或进行昂贵的多任务联合训练。FlyLoRA通过其独特的设计，特别是A矩阵的近似正交性，显著提高了在进行LoRA组件合并时的性能，有效缓解了合并过程中常见的任务间干扰问题。
摘要¶
本研究提出了一种名为 FlyLoRA 的新型 LoRA 变体，其灵感来源于果蝇嗅觉回路，旨在解决 Low-Rank Adaptation (LoRA) 在大型语言模型微调中存在的参数干扰问题，并提升参数效率。LoRA 是一种广泛使用的 Parameter-Efficient Fine-Tuning (PEFT) 方法，通过将参数更新 \(\Delta W \in \mathbb{R}^{m \times n}\) 近似分解为两个低秩矩阵 \(B \in \mathbb{R}^{m \times r}\) 和 \(A \in \mathbb{R}^{r \times n}\) 的乘积（其中 \(r \ll \min(m, n)\)），显著降低了计算和存储成本。然而，LoRA 存在两个主要挑战：一是“任务内干扰”（intra-task interference），即在单个任务中，LoRA 内部不同秩（rank）之间的参数相互干扰，导致性能次优；二是“任务间干扰”（inter-task interference），在多任务模型合并场景中，来自不同任务的 LoRA 组件可能相互冲突。
为缓解这些问题，现有方法引入了 Mixture-of-Experts (MoE) 架构到 LoRA 中，即 MoE-based LoRA。这些方法将低秩更新分解为多个专家，并使用一个可训练的 Router 动态选择激活部分专家。然而，MoE-based LoRA 引入了额外的 Router 参数，增加了计算开销（特别是在细粒度专家划分时），且未能有效解决多任务模型合并中的任务间干扰。例如，在 MMLU 上的实验表明，虽然更细粒度的秩分配（例如 Split-LoRA）可以提高准确性，但它也显著增加了 Router 的激活可训练参数（activated trainable parameters），这在高性能和高效率之间造成了权衡。
FlyLoRA 的核心创新在于引入了一个“隐式 Router”（implicit router）和“秩级专家激活”（rank-wise expert activation）机制，其设计灵感直接来源于果蝇嗅觉回路（该回路通过随机投影和稀疏选择将高维输入转换为可分离的表示）。具体而言，FlyLoRA 包含以下两个关键组成部分：
稀疏冻结的下投影矩阵 A 作为隐式 Router： 传统 LoRA 中矩阵 A 是可训练的，而 FlyLoRA 中，矩阵 \(A \in \mathbb{R}^{r \times n}\) 是“稀疏且冻结”的，它在训练开始时随机初始化，并在整个训练过程中保持不变。A 的每一行包含精确 \(p\) 个非零条目（\(p < n\)），这些条目独立采样自高斯分布 \(N(0, 1/r^2)\)。A 的作用是取代传统的密集可训练 Router，将输入 \(x \in \mathbb{R}^n\) 投影到中间空间 \(\mathbb{R}^r\)。
基于幅值的秩级专家激活： FlyLoRA 模拟果蝇嗅觉回路的“赢者通吃”（winner-take-all）机制。给定输入 \(x\)，首先计算 \(y = Ax \in \mathbb{R}^r\)。然后，FlyLoRA 会根据 \(y\) 中元素的“幅值”（magnitudes），选择幅值最大的 \(k\) 个维度。只有与这 \(k\) 个选定维度关联的矩阵 \(B \in \mathbb{R}^{m \times r}\) 中的相应列 \(b_i \in \mathbb{R}^m\) 才会被激活。形式上，激活的专家索引集合 \(I_{\text{topk}}\) 定义为： $\(I_{\text{topk}} = \{i_1, \dots, i_k \text{ where } i_j = \arg \max_{i \notin \{i_1, \dots, i_{j-1}\}} (Ax+d)_i\}\)\( 其中 \)d \in \mathbb{R}^r\( 是一个专家级偏置项，用于“负载均衡”（load balancing），它根据每个专家的实际分配频率与期望分配频率的差异进行动态调整，以促进未充分激活的专家被选择。最终的向前传播计算为： \)\(f_{\text{FlyLoRA}}(x) = W_0x + \Delta W x = W_0x + \frac{\alpha}{r} \sum_{i=1}^r I(i \in I_{\text{topk}}) \cdot b_i a_i x\)\( 其中 \)I(\cdot)\( 是指示函数，\)a_i = A[i, :]\( 且 \)b_i = B[:, i]$。
核心方法论的详细技术解释：
隐式路由与距离保持特性： FlyLoRA 的关键在于将下投影矩阵 A 和 Router G 的功能统一到一个冻结的稀疏随机投影 A 中。传统 MoE Router 需要学习 \(W_g\) 来进行专家选择，而 FlyLoRA 通过 \(Ax\) 的值来直接决定激活哪些专家。这避免了 Router 参数的开销和训练不稳定性。该方法的理论基础是 A 具有“距离保持特性”（distance-preserving property）。根据定理 3.1（该定理基于 Johnson-Lindenstrauss 引理的扩展），对于任意输入嵌入 \(x, y \in \mathbb{R}^n\)，A 能够以高概率近似地保持它们在原始空间中的欧几里得距离： $\(P\left(\left(1 - \epsilon\right)\|x - y\|^2 \le \frac{1}{r\sigma^2} \|Ax - Ay\|^2 \le \left(1 + \epsilon\right)\|x - y\|^2\right) \ge 1 - e^{-(\epsilon^2 - \epsilon^3) \frac{r}{4}} - e^{- \frac{(\epsilon^2 - \epsilon^3)r}{2}(\frac{3p}{n} + 1)}\)\( 其中 \)\sigma^2 = p/(nr^2)$。这意味着语义相似的输入会被映射到相近的低维表示，从而被路由到相似的专家，实现了几何诱导的一致性，有效减少了专家同质化。
通过 Top-k 稀疏性实现任务内解耦： 在 FlyLoRA 中，只有矩阵 B 需要更新。通过 Top-k 选择实现的秩级专家分配策略，固有地降低了不同专家之间的“梯度协方差”（gradient covariance），从而缓解了任务内干扰。定理 3.3 定量说明了这种解耦效应：在 \(r > k\) 的情况下，当使用 Top-k 激活时，梯度的非对角线协方差的期望值 \(E[\tilde{\Sigma}(i,j)]\) 相较于没有 Top-k 激活的密集版本 \(E[\Sigma(i,j)]\) 会按 \(O(k^2/r^2)\) 的比例减小： $\(E[\tilde{\Sigma}(i,j)] \approx E[\Sigma(i,j)] \cdot \frac{k^2}{r^2}, \forall i \ne j\)\( 这意味着激活的秩越少（\)k$ 越小），梯度之间的相关性越弱，从而实现更好的解耦。
通过随机投影实现任务间正交性： 对于模型合并，传统 LoRA 存在显著的任务间干扰。FlyLoRA 通过冻结的稀疏随机投影矩阵 A，自然地实现了任务间的解耦。定理 3.4 指出，对于独立的随机矩阵 \(A_i, A_j \in \mathbb{R}^{r \times n}\)，它们的乘积的期望为零，并且其范数会以多项式衰减的概率界限趋近于零：
精确平均正交性：\(E[A_i A_j^\top] = 0_{r \times r}\)
多项式衰减相关性：\(P(\|A_i A_j^\top\|_2 \ge \epsilon r) \le \frac{p^2}{nr^2\epsilon^2}\) 这表明不同的随机投影 \(A_i\) 和 \(A_j\) 自然地将任务更新映射到“近似正交的子空间”（approximately orthogonal subspaces）。推论 3.5 进一步指出，这使得不同任务训练出的 LoRA 组件 \(B_iA_i\) 和 \(B_jA_j\) 之间近似正交，即 \(\langle B_iA_i, B_jA_j \rangle_F \approx 0\)（当 \(i \ne j\)）。这种固有正交性确保了在模型合并时，任务特定的更新不会产生破坏性干扰，从而显著提高了合并后的模型性能。
实验验证：
FlyLoRA 在四个领域（通用知识理解 MMLU、科学问答 ScienceQA、数学推理 GSM8K 和代码生成 HumanEval）上进行了广泛实验。
单任务性能： FlyLoRA(k=8) 在激活参数量仅为 LoRA(r=8) 的一半，且远低于 LoRA(r=32) 和 Split-LoRA(4x8) 的情况下，实现了优于所有基线的性能。这证明了 FlyLoRA 在更低的计算预算下，通过更精细的专家分配策略和高效的隐式路由，取得了更好的任务内解耦和整体性能。
多任务性能： 在使用权重平均（weight averaging）进行模型合并的场景中，FlyLoRA 展现出显著更小的性能下降，尤其在 MMLU 和 HumanEval 上表现优异。这得益于其近似正交的随机投影 A 带来的任务间解耦能力，有效缓解了合并中的干扰。在对 Qwen-2.5-7B 的实验中，FlyLoRA 在合并后甚至在 MMLU、GSM8K 等任务上实现了正向的性能提升，而其他基线则出现显著下降，进一步凸显了其在多任务场景下的强大鲁棒性。
消融研究和超参数敏感性：
负载均衡策略对 MoE 训练稳定性至关重要，引入负载均衡后准确率提高了 3.32%。
矩阵 A 冻结的重要性：在单任务场景下，冻结 A 和可训练 A 性能差异不大。但在多任务合并场景中，可训练的 A 导致性能显著下降 4.43%，这验证了冻结随机 A 在促进正交性方面的关键作用。
A 的稀疏度、激活秩 \(k\) 和总秩 \(r\) 的敏感性分析表明，FlyLoRA 对超参数选择具有一定的鲁棒性，并在中间激活秩达到最佳性能。
效率： FlyLoRA 实现了最快的训练时间和最低的内存消耗。这主要归因于其激活参数量最少，且冻结的 A 矩阵显著减少了激活所需的内存。
结论：
FlyLoRA 通过生物启发设计，有效地解决了 LoRA 面临的参数干扰和效率问题。它通过秩级专家激活和作为隐式 Router 的冻结稀疏随机投影矩阵 A，同时实现了高效的任务内解耦和任务间解耦。这种设计不仅减少了 Router 参数，提高了计算效率，还通过随机矩阵的固有正交性增强了模型合并的性能。FlyLoRA 为 PEFT 和 MoE 架构提供了新的视角，并展示了生物结构在人工智能技术创新中的巨大潜力。
Abstract¶
本论文提出了一种改进的低秩自适应（LoRA）方法，称为 FlyLoRA，旨在解决LoRA在参数高效微调中面临的参数干扰问题，尤其是在多任务模型融合中的表现不佳。
核心内容：¶
问题背景：
LoRA 是一种广泛使用的参数高效微调方法，但存在参数干扰问题，影响性能。
基于 MoE（混合专家）的 LoRA 变体虽然在单任务指令微调中缓解了任务内干扰，但引入了额外的路由参数，且在多任务融合场景中仍表现不佳。
FlyLoRA 的创新点（重点）：
按秩激活专家机制：在上投影矩阵中引入了按秩划分的专家激活机制。
隐式路由机制：使用一个固定的稀疏随机投影矩阵替代传统的可训练密集路由矩阵，将专家路由与下投影过程统一。
优势分析：
消除了显式路由器的需求，提升了计算效率。
利用随机矩阵的正交性，有效缓解了任务间的干扰（inter-task interference）。
实验验证：
在四个领域（通用知识理解、科学问答、数学推理、代码生成）进行了广泛实验。
FlyLoRA 在多个任务上均优于现有方法。
启示意义：
展示了生物学结构（果蝇嗅觉系统）对AI技术创新的启发价值。
补充说明：¶
论文中未列出具体数学公式或表格数据，但强调了 FlyLoRA 的结构设计和实验性能对比。
提供了开源代码链接：https://github.com/gfyddha/FlyLoRA
如需后续章节（如 Introduction、Method、Experiments 等）的总结，请继续提供内容。
1 Introduction¶
1 引言（Introduction）¶
1.1 背景与问题¶
随着模型参数的扩展，基础模型（Foundation Models）在多个领域展现出卓越的能力。为了提升其在下游任务上的表现，通常采用监督微调（Supervised Fine-Tuning, SFT）作为训练后处理方法。然而，全参数微调（Full FT）计算和存储开销巨大，难以满足个性化部署需求。因此，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）成为主流方法，通过冻结预训练权重，仅微调少量新增参数，显著降低资源消耗。
1.2 LoRA 方法概述¶
低秩自适应（Low-Rank Adaptation, LoRA）是当前最主流的 PEFT 方法之一。其核心思想是利用大语言模型的低维内在特性，将参数更新矩阵 Δ𝑊 ∈ ℝ^(𝑚×𝑛) 近似为两个低秩矩阵 𝐵 ∈ ℝ^(𝑚×𝑟) 和 𝐴 ∈ ℝ^(𝑟×𝑛) 的乘积，其中 𝑟 ≪ min(𝑚, 𝑛)。这种方法在显著降低内存和计算开销的同时，保留了 Full FT 的大部分性能优势。
1.3 LoRA 的挑战¶
尽管 LoRA 效果显著，但在复杂任务中往往需要更高的秩（rank），这与 PEFT 的效率目标相悖。此外，LoRA 内部秩之间存在干扰（intra-task interference），可能导致幻觉（hallucination）和梯度爆炸（gradient explosion）等问题。同时，基础模型常需整合多种能力以应对复杂任务，但多领域联合训练成本高昂，因此常采用模型融合（model merging）技术将不同领域的 LoRA 模块进行组合。然而，这种融合会引入任务间的参数冲突，称为 inter-task interference。
1.4 MoE-based LoRA 方法¶
为缓解 intra-task interference，研究者将 Mixture-of-Experts (MoE) 架构引入 LoRA，形成 MoE-based LoRA 方法。该方法通过引入多个专家模块和动态路由机制，实现任务的部分解耦。虽然这些方法在参数预算上与传统 LoRA 相当，但每个专家内部仍可能存在干扰，且路由机制本身会增加额外参数。
作者在 Llama-3.1-8B 上进行实验，使用 Split-LoRA 作为代表方法，发现：
更细粒度的秩分配可提升性能（图1a）；
但过度细化会因路由开销增加激活参数数量（图1b），导致性能与效率之间的权衡问题。
1.5 FlyLoRA 的提出与设计动机¶
受果蝇嗅觉电路启发（图1c），作者提出 FlyLoRA，通过隐式路由机制缓解 intra-task 干扰与效率之间的矛盾。FlyLoRA 的核心设计包括：
将矩阵 𝐴 作为固定的稀疏随机投影，将输入映射到更高秩空间（如 𝑟 = 32）；
在 𝐵 中激活与投影后最大值对应的 𝑘 个秩-1 专家，模拟“胜者通吃”机制（winner-take-all）；
将 𝐴 与路由 𝐺 的功能统一为一个固定投影，无需显式路由参数，从而提升效率。
理论分析表明，不同 LoRA 模块的随机投影 𝐴_𝑖 和 𝐴_𝑗 可将任务更新映射到近似正交子空间，从而缓解 inter-task 干扰。
1.6 核心贡献¶
高效的 intra-task 解耦：通过隐式 rank-wise MoE 结构，实现更细粒度的专家分配，减少单任务内部参数干扰，且无需额外路由参数。
高效的 inter-task 解耦：不同 LoRA 模块的随机投影自然形成近似正交子空间，使各模块在互不干扰的子空间中运行。
神经科学启发的设计：算法设计与果蝇嗅觉电路结构高度一致，为神经科学与人工智能之间建立了桥梁。
总结：本节系统分析了 LoRA 的优势与局限，提出了 FlyLoRA 方法，通过结构设计和理论分析，有效缓解了 intra-task 与 inter-task 的参数干扰问题，同时提升了参数效率和模型性能。
2 Revisiting MoE-based LoRA Methods¶
第2章：重新审视基于MoE的LoRA方法¶
2.1 基础知识（Preliminaries）¶
本节介绍了LoRA的基本原理。LoRA通过将权重更新矩阵分解为两个低秩矩阵来模拟微调过程中的权重更新。给定预训练权重矩阵 𝑾₀ ∈ ℝ^(m×n)，参数更新公式为：
其中 𝑩 ∈ ℝ^(m×r)，𝑨 ∈ ℝ^(r×n)，且秩 r ≪ min(m, n)。缩放因子 α 通常设为 2r。对于输入嵌入 𝒙 ∈ ℝ^n，前向传播为：
训练过程中 𝑾₀ 被冻结，仅更新 {𝑨, 𝑩}。这种方法将可训练参数数量从 𝒪(mn) 降低到 𝒪(r(m + n))，显著提升了参数效率，同时保持了微调时的计算和内存效率。
2.2 基于MoE的LoRA框架（MoE-based LoRA Framework）¶
本节介绍MoE（Mixture of Experts）与LoRA结合的框架。MoE通过将低秩适配分解为多个专家（expert）来扩展LoRA。每个专家 𝑬ᵢ 由一对矩阵 {𝑩ᵢ, 𝑨ᵢ} 表示，并通过一个门控机制 𝑮(𝒙) 动态选择激活哪些专家。输出为：
其中 𝑮(𝒙) 通常采用top-k选择策略，通过可训练投影矩阵 𝑾g ∈ ℝ^(N×n) 实现：
每次输入仅激活 k 个专家，保持计算效率。这种稀疏路由策略实现了条件计算，提升了模型表达能力，而不会显著增加计算成本。文中提到的Split-LoRA是该框架下的一个最小但具有代表性的实现。
2.3 将MoE-based LoRA架构推向极致（Pushing MoE-based LoRA Architecture to the Extreme）¶
本节探讨了将MoE-based LoRA进一步细化的设计思路。作者提出将LoRA的低秩矩阵分解为多个单秩（rank-1）专家，每个专家仅负责一个秩方向，从而实现最优的去相关效果。形式化表示为：
其中 𝒂ᵢ = 𝑨[i,:] ∈ ℝ^(1×n)，𝒃ᵢ = 𝑩[:,i] ∈ ℝ^(m×1)。
然而，这种设计面临可扩展性问题：随着专家数量 N 增加，路由层 𝑾g ∈ ℝ^(N×n) 的参数量线性增长，导致计算开销过大。
为解决此问题，作者提出隐式路由机制，即不使用显式的路由参数 𝑾g，而是利用模型内部信号选择top-k专家。受SVD启发，作者认为每个秩方向的输出大小 ‖𝒃ᵢ𝒂ᵢ𝒙‖ 可以反映其重要性。
但直接计算所有 r 个项再选top-k 会失去稀疏激活的计算优势。因此，需要一种在完全计算前就能选择重要专家的路由策略。
此外，现有MoE-based LoRA方法在多任务部署中存在局限：合并不同任务的LoRA适配器时，任务间参数干扰严重，缺乏结构上的任务解耦机制。
核心挑战与设计目标¶
针对上述问题，作者提出两个关键设计目标：
隐式基于幅度的路由机制：无需显式路由参数，能在计算前选择top-k专家；
原生支持无训练模型合并：通过架构设计减少任务间参数干扰，提升多任务部署能力。
总结¶
本章系统回顾了LoRA及其与MoE结合的扩展方法，指出现有MoE-based LoRA在可扩展性和多任务部署上的局限，并提出将LoRA细化为单秩专家的设计思路。为解决由此带来的路由计算瓶颈，作者提出隐式路由机制的构想，为后续提出的FlyLoRA方法奠定了理论基础。
3 FlyLoRA¶
本节提出了一种基于隐式秩级混合专家（MoE）的LoRA变体——FlyLoRA，其灵感来源于果蝇嗅觉神经回路，该结构天然满足MoE-based LoRA的需求。FlyLoRA的结构如图2(c)所示，其核心设计在3.1节中详细阐述，后续小节分析其关键优势：
3.1 FlyLoRA 的形式化定义¶
FlyLoRA中，矩阵 𝑨 ∈ ℝr×n 是稀疏且固定的，初始化后在整个训练过程中保持不变。它在投影空间 ℝr 中实现隐式路由的 top-k 操作。输入 token 𝒙 ∈ ℝn 经过如下变换：
其中，𝑨 的每一行有 p 个非零项（p < n），服从分布 𝒩(0, 1/r²)，定义稀疏比为 ρ = p/n。
接着，只有在 𝑨𝒙 中 top-k 个最大值对应的列 𝒃i ∈ ℝm 被激活，形式如下：
为提升训练稳定性，引入专家级偏置项 𝒅 ∈ ℝr，用于负载均衡，更新方式为：
其中，u 是小学习率，\(\bar{\bm{c}_i}\) 是期望激活频率，\(\bm{c}_i\) 是实际激活次数。
最终激活的专家集合为：
前向传播公式为：
3.2 固定稀疏随机投影作为隐式路由¶
FlyLoRA 使用固定稀疏随机投影矩阵 𝑨 实现隐式路由。其核心思想是：通过 𝒂i𝒙 的大小选择 top-k 个专家，而非计算 ‖𝒃i𝒂i𝒙‖，从而提升效率。
定理 3.1 证明了稀疏随机投影能近似保持欧氏距离：
这表明 FlyLoRA 可以通过 𝒂i𝒙 的大小选择专家，且语义相似输入会被映射到相近的低维表示并路由到相同专家，语义不同输入则被路由到不同专家。
图3(a)显示，top-25% 的维度占据了超过80% 的“能量”，说明 top-k 操作不会显著影响性能。
3.3 通过 top-k 稀疏实现梯度解耦¶
FlyLoRA 中仅需更新矩阵 𝑩。通过 top-k 选择策略，专家之间梯度协方差显著降低，从而减少任务内干扰。
假设 3.2（均匀稀疏激活）：每个样本激活 k 个专家，每列激活概率为 k/r。
定理 3.3（top-k 下协方差减少）：设 \(\tilde{\bm{\Sigma}}\) 和 \(\bm{\Sigma}\) 分别为有无 top-k 激活的梯度协方差矩阵，则：
这说明 top-k 激活显著降低了专家间的梯度协方差，当 k=1 时几乎完全解耦，当 k=r 时退化为 LoRA-FA。
图3(b)(c) 显示 FlyLoRA 的梯度相关性显著低于 LoRA-FA，验证了理论结果。
3.4 模型融合中的任务间正交性¶
传统 LoRA 在模型融合时存在参数干扰问题：
FlyLoRA 利用稀疏随机投影实现任务间子空间的近似正交性，从而避免干扰。
定理 3.4（近似子空间正交性）：
对独立随机矩阵 𝑨i, 𝑨j，有：
\(\mathbb{E}[\bm{A}_i \bm{A}_j^\top] = \bm{0}\)
\(\mathbb{P}(\|\bm{A}_i \bm{A}_j^\top\|_2 \geq \epsilon r) \leq \frac{p^2}{nr^2 \epsilon^2}\)
这说明 FlyLoRA 的任务特定更新 𝑩i𝑨i 占据近似正交子空间，从而避免破坏性干扰。
推论 3.5： $\( \langle \bm{B}_i \bm{A}_i, \bm{B}_j \bm{A}_j \rangle_F \approx 0 \quad \text{for } i \neq j \)$
实验证明，FlyLoRA 的固定稀疏投影在模型融合时能保持任务性能，而传统 LoRA 的可学习 𝑨 容易产生干扰。
总结¶
FlyLoRA 的核心优势包括：
隐式路由机制：使用固定稀疏随机投影实现高效、稳定的专家选择。
梯度解耦：通过 top-k 激活显著降低专家间梯度协方差，提升训练稳定性。
任务间正交性：稀疏随机投影天然诱导子空间正交性，支持多任务模型融合时的低干扰。
这些特性使 FlyLoRA 在参数效率和任务解耦方面优于传统 LoRA 方法。
4 Experiments¶
4 实验总结¶
4.1 实验设置¶
数据集与主干模型：
实验在四个关键领域评估 FlyLoRA 的性能：
通用知识理解：使用 MMLU 基准，结合辅助训练集进行微调，测试集用于评估；
科学问答：使用 ScienceQA 数据集进行训练和评估；
数学推理：基于 GSM8K 数据集进行微调和评估；
代码生成：使用 CodeAlpaca-20k 进行训练，HumanEval 用于评估。
除 HumanEval 使用 pass@k 指标外，其余均使用准确率（accuracy）评估。所有任务均采用零样本（zero-shot）方式测试。实验包括单任务（single-task）和多任务（multi-task）设置，其中多任务设置通过训练无关的 LoRA 组件合并实现。主干模型主要使用 Llama-3.1-8B 和 Qwen-2.5-7B。
基线方法：
单任务设置：对比 vanilla LoRA（r=8 和 r=32）以及 Split-LoRA(4×8)；
多任务设置：使用权重平均融合方法，以及更高级的合并技术进行对比。
FlyLoRA(k=8) 的总秩为 r=32，但只激活 k=8 个秩（通过 A 和 B 的 top-k 操作），A 的稀疏比 ρ=8/32。
表1：单任务性能对比¶
模型 |
方法 |
参数激活比例 |
MMLU |
ScienceQA |
GSM8K |
HumanEval（Pass@k） |
|---|---|---|---|---|---|---|
Llama-3.1-8B |
LoRA(r=8) |
0.26% |
36.53 |
91.39 |
55.34 |
29.13 / 52.28 / 61.67 |
LoRA(r=32) |
1.03% |
38.93 |
94.01 |
56.25 |
30.37 / 54.37 / 64.02 |
|
Split-LoRA(4×8) |
0.33% |
38.44 |
92.41 |
55.65 |
31.28 / 54.16 / 63.94 |
|
FlyLoRA(k=8) |
0.13% |
40.88 |
94.15 |
58.76 |
36.88 / 62.40 / 73.34 |
|
Qwen-2.5-7B |
LoRA(r=8) |
0.26% |
49.84 |
92.84 |
77.01 |
47.20 / 78.89 / 85.94 |
LoRA(r=32) |
1.05% |
52.07 |
95.01 |
79.23 |
52.87 / 81.67 / 87.80 |
|
Split-LoRA(4×8) |
0.33% |
50.68 |
93.08 |
77.12 |
48.65 / 79.30 / 86.05 |
|
FlyLoRA(k=8) |
0.13% |
53.68 |
95.55 |
80.82 |
54.34 / 82.85 / 89.63 |
结论：
FlyLoRA(k=8) 在参数激活比例最低（0.13%）的情况下，性能全面优于其他 LoRA 变体；
表明 LoRA(r=32) 中存在大量冗余参数，FlyLoRA 更高效；
Split-LoRA(4×8) 的 MoE 结构不如 FlyLoRA 的细粒度专家分配策略。
表2：多任务合并前后的性能对比¶
模型 |
方法 |
合并状态 |
MMLU |
ScienceQA |
GSM8K |
HumanEval（Pass@k） |
Δ% |
|---|---|---|---|---|---|---|---|
Llama-3.1-8B |
LoRA(r=8) |
合并前 |
36.53 |
91.39 |
55.34 |
29.13 / 52.28 / 61.67 |
-6.48 ~ -60.34 |
合并后 |
30.05 |
31.05 |
25.19 |
16.09 / 45.38 / 56.49 |
|||
FlyLoRA(k=8) |
合并前 |
40.88 |
94.15 |
58.76 |
36.88 / 62.40 / 73.34 |
-2.02 ~ -43.05 |
|
合并后 |
38.86 |
51.10 |
36.95 |
32.61 / 56.59 / 69.76 |
|||
Qwen-2.5-7B |
LoRA(r=8) |
合并前 |
49.84 |
92.84 |
77.01 |
47.20 / 78.89 / 85.94 |
-5.22 ~ -32.77 |
合并后 |
44.62 |
60.07 |
81.56 |
22.09 / 68.38 / 80.49 |
|||
FlyLoRA(k=8) |
合并前 |
53.68 |
95.55 |
80.82 |
54.34 / 82.85 / 89.63 |
+6.55 ~ -23.77 |
|
合并后 |
60.23 |
71.78 |
85.62 |
33.11 / 75.28 / 87.15 |
结论：
所有方法在合并后均有性能下降，但 FlyLoRA 下降幅度最小；
FlyLoRA 在合并后仍保持较高性能，尤其在 MMLU 上甚至提升（+6.55%）；
表明其通过近似正交的随机投影实现了良好的任务解耦。
4.2 单任务性能分析¶
FlyLoRA(k=8) 在参数激活比例最低的情况下，全面优于 LoRA(r=8) 和 Split-LoRA(4×8)；
性能略优于 LoRA(r=32)，说明其参数更高效；
MoE 结构中更细粒度的专家分配策略是其优势来源；
附录中提供了更大模型和更多基线的扩展结果。
4.3 多任务性能分析¶
使用权重平均法进行模型合并（即 Eq.12）；
FlyLoRA 在合并前后均优于其他方法，性能下降更小；
优势来源于其任务间解耦能力（理论分析见第3.4节）；
附录中提供了更高级融合方法的实验结果。
4.4 消融实验与超参数敏感性分析¶
表3：FlyLoRA 变体的消融研究
设置 |
变体 |
准确率（MMLU） |
|---|---|---|
是否负载均衡（Load Balancing） |
有 |
40.88 |
无 |
37.56 |
|
矩阵 A 是否可训练 |
单任务冻结 |
40.88 |
单任务可训练 |
40.64 |
|
多任务冻结 |
38.86 |
|
多任务可训练 |
34.43 |
结论：
负载均衡提升训练稳定性，准确率提升 3.32%；
单任务下 A 是否可训练影响不大；
多任务下 A 可训练导致性能下降 4.43%，因其破坏了近似正交性。
图4：超参数敏感性分析（单任务）¶
(a) 矩阵 A 的稀疏比：
准确率随稀疏比增加而上升，直到饱和；
稀疏比极低时性能略有下降。
(b) 激活秩（总秩固定为32）：
性能在中等激活秩时达到峰值；
激活秩过低无法捕捉任务特征，过高则引入干扰。
(c) 总秩（激活秩固定为8）：
总秩增加持续提升性能。
结论：
FlyLoRA 对稀疏比和激活秩具有鲁棒性；
总秩越高性能越好，适合资源充足场景。
总结¶
FlyLoRA 在单任务和多任务设置中均表现出色，尤其在参数效率和任务解耦方面优于现有 LoRA 变体。其核心优势包括：
更细粒度的 MoE 结构；
近似正交的随机投影实现任务解耦；
高效的参数激活机制（仅激活 0.13% 参数）；
对多任务合并具有鲁棒性；
超参数设置灵活，适应性强。
5 Discussion¶
5.1 模型融合中的干扰（Interference in Model Merging）¶
在需要训练的场景中，梯度正交化技术常用于减少任务之间的干扰，这在多任务学习和持续学习中已有广泛应用。而在本文的训练无关模型融合设定中，所有组件都来自同一个基础模型，并通过领域特定的SFT（监督微调）生成。任务之间的干扰可以通过测量不同任务下参数更新（相对于基础模型）的正交性来量化。对于本文使用的LoRA组件融合，这些参数更新对应于矩阵乘积 \( \bm{B}_i \bm{A}_i \)。
在附录A.3中，作者形式化地证明了FlyLoRA具有近似正交性，这种特性本质上降低了任务之间的相关性，从而有效缓解了模型融合中的任务干扰问题。
重点内容总结：
任务干扰可通过参数更新的正交性衡量；
FlyLoRA具备近似正交性，有助于减少任务间干扰；
适用于训练无关的模型融合场景。
5.2 FlyLoRA与其它基于正交性的PEFT方法的关系（FlyLoRA’s Connection to Other Orthogonality-Based Designs in PEFT）¶
本节将FlyLoRA与其它基于正交性设计的PEFT方法（如OFT和LoReFT）进行对比。这些方法通常用于单任务场景，其核心思想是通过一个正交矩阵 \( \bm{R} \) 与预训练权重矩阵 \( \bm{W}_0 \) 相乘，从而旋转整个参数空间。这种“乘法”方式相比LoRA的“加法”方式（即添加 \( \Delta \bm{W} \)）更能有效调整语义信息，因此在单任务中表现更优。
相比之下，LoRA及其变体（包括FlyLoRA）采用的是加法结构，无法实现对 \( \bm{W}_0 \) 的旋转。在单任务设置下，若去掉FlyLoRA中的MoE部分，仅保留随机矩阵 \( \bm{A} \)，则其退化为LoRA-FA或Asymmetry LoRA，这些方法虽然节省资源，但无法提升性能。
然而，FlyLoRA在多任务场景（如模型融合和持续学习）中表现优异，原因在于其正交设计能够有效解耦多个下游任务在微调过程中的参数干扰。
重点内容总结：
OFT、LoReFT采用“乘法”方式旋转参数空间，适合单任务；
LoRA类方法（如FlyLoRA）采用“加法”方式，适合多任务场景；
FlyLoRA通过正交设计降低任务干扰，适用于模型融合和持续学习；
在单任务中，FlyLoRA可退化为LoRA变体，但性能提升有限。
如需进一步分析附录A.3中的数学证明或具体实验数据，请提供相关部分。
7 Conclusion¶
本章节总结了本文的主要研究成果，即对基于LoRA的MoE结构进行了全面分析，并提出了一种新的变体FlyLoRA。
主要内容总结：¶
问题分析：
作者首先回顾了基于MoE（Mixture of Experts）结构的LoRA方法，指出了其在参数干扰和计算效率方面存在的问题。方法创新（FlyLoRA）：
受果蝇嗅觉回路的启发，作者提出了FlyLoRA。该方法包含两个关键技术点：矩阵𝑩中的按秩专家激活（rank-wise expert activation）：
在LoRA的矩阵𝑩中，采用按秩选择专家的方式，增强了模型的表达能力。矩阵𝑨中的固定稀疏随机投影作为隐式路由（implicit router）：
使用稀疏随机投影代替显式的路由网络，降低了计算开销，同时保持了良好的任务区分能力。
理论优势：
FlyLoRA实现了任务内（intra-task）和任务间（inter-task）的解耦，这在以下两个方面表现突出：
在单任务指令微调中，显著提升了参数的去相关性（decorrelation）；
在多任务设置中，增强了LoRA组件的融合能力（fusion）。
同时，其隐式路由策略和固有稀疏性保证了计算效率。
总结：¶
FlyLoRA通过结构上的创新，解决了传统MoE-based LoRA方法中的参数干扰和效率问题，具有理论支撑和实际应用价值，尤其适用于多任务和高效微调场景。
8 Acknowledgments¶
8 致谢¶
本节为论文的致谢部分，内容较为简短，主要表达了对相关人士和机构的感谢：
作者首先感谢了Cheems Wang对论文手稿提出的宝贵建议；
同时也感谢了匿名审稿人给予的积极反馈和建设性意见；
最后，作者说明了本研究得到了中国国家重点研发计划（项目编号：2018AAA0102801）的资助支持。
本节内容不涉及数学公式、算法步骤或表格数据，主要为致谢性质的说明。
NeurIPS Paper Checklist¶
NeurIPS 论文检查清单总结¶
以下是对论文检查清单各章节内容的结构化总结，重点内容将被突出讲解，次要内容则进行精简说明。
1. 声明（Claims）¶
问题：摘要和引言中提出的主声明是否准确反映了论文的贡献和范围？
回答：是（Yes）
重点说明：
作者在摘要、引言和结论中明确总结了贡献和研究范围。
引言最后一段专门列出了论文的贡献。
指南要点：
摘要和引言应清晰陈述研究声明、贡献、假设和限制。
声明应与理论和实验结果一致，体现结果的泛化能力。
可以提出“愿景目标”作为动机，但需明确说明这些目标尚未实现。
2. 限制（Limitations）¶
问题：论文是否讨论了作者工作的局限性？
回答：是（Yes）
重点说明：
附录D中详细讨论了可能的限制与未来工作。
指南要点：
鼓励设立单独的“限制”章节。
应指出强假设、结果稳健性、实验范围、性能影响因素、计算效率、隐私与公平性等问题。
诚实说明限制不会被评审惩罚，反而有助于提升论文可信度。
3. 理论假设与证明（Theory assumptions and proofs）¶
问题：对于每个理论结果，论文是否提供了完整的假设和完整（且正确）的证明？
回答：是（Yes）
重点说明：
主文第3节列出定理，附录A提供完整证明。
指南要点：
所有定理、公式和证明应编号并交叉引用。
所有假设应明确陈述。
证明可放在正文或附录，但附录中应提供简要证明思路。
正文中非正式证明应有附录中的正式证明支持。
4. 实验结果可复现性（Experimental result reproducibility）¶
问题：论文是否披露了所有复现主实验结果所需的信息？
回答：是（Yes）
重点说明：
附录C提供了训练细节，代码在补充材料中。
指南要点：
可复现性对评审非常重要，无论是否提供代码和数据。
可通过代码、详细描述、模型访问等方式实现。
NeurIPS不要求代码开源，但要求提供合理复现路径。
5. 数据与代码开放访问（Open access to data and code）¶
问题：论文是否提供了开放访问的数据和代码，并附有复现主实验结果的足够说明？
回答：是（Yes）
重点说明：
补充材料中提供代码，附录C列出开源数据集和模型。
指南要点：
鼓励开源，但“否”也可接受，除非代码是核心贡献。
应提供复现所需命令、环境、数据访问方式。
提交时应匿名处理。
6. 实验设置/细节（Experimental setting/details）¶
问题：论文是否指明了所有训练和测试细节（如数据划分、超参数、优化器类型等）？
回答：是（Yes）
重点说明：
第4节和附录C详细讨论了实验设置和训练细节。
指南要点：
实验设置应足够详细以理解结果。
完整细节可放在附录或补充材料中。
7. 实验统计显著性（Experiment statistical significance）¶
问题：论文是否正确报告了误差条或其他统计显著性信息？
回答：是（Yes）
重点说明：
报告了三次随机种子的误差条。
指南要点：
应说明误差条的计算方法（标准差、标准误、置信区间等）。
明确误差条所反映的变量（如初始化、数据划分等）。
若使用1σ或2σ误差条，应说明。
8. 实验计算资源（Experiments compute resources）¶
问题：论文是否提供了每个实验所需的计算资源信息？
回答：是（Yes）
重点说明：
附录C总结了计算资源。
指南要点：
应说明CPU/GPU类型、内存、执行时间。
提供单次实验和总计算量。
披露是否包含未报告的额外计算资源。
9. 伦理准则（Code of ethics）¶
问题：研究是否完全符合NeurIPS伦理准则？
回答：是（Yes）
重点说明：
作者已阅读伦理准则并确保匿名性。
指南要点：
若回答“否”，需说明特殊情况。
应确保匿名性（如因法律原因需特别考虑）。
10. 广泛影响（Broader impacts）¶
问题：论文是否讨论了工作的潜在社会影响（正负）？
回答：是（Yes）
重点说明：
附录E讨论了潜在社会影响。
指南要点：
应考虑技术被正确使用时的潜在危害、错误结果带来的危害、技术滥用。
如有负面影响，应提出缓解策略（如模型限制发布、提供防御机制等）。
11. 安全措施（Safeguards）¶
问题：论文是否描述了高风险模型或数据的安全措施？
回答：不适用（N/A）
重点说明：
本研究不涉及高风险模型或数据。
指南要点：
对高风险模型应提供使用限制、安全过滤等措施。
网络爬取数据应避免发布不安全内容。
12. 现有资产许可（Licenses for existing assets）¶
问题：论文中使用的现有资产（如代码、数据、模型）是否正确引用并遵守许可？
回答：是（Yes）
重点说明：
使用了开源代码和数据集，并正确引用。
指南要点：
应引用原始论文，说明版本和许可证（如CC-BY 4.0）。
网络爬取数据应遵守版权和条款。
13. 新资产（New assets）¶
问题：论文中引入的新资产是否被良好记录？
回答：不适用（N/A）
重点说明：
本论文未发布新资产。
指南要点：
新资产应提供结构化文档，包括训练细节、许可证、限制等。
若涉及人类数据，应说明知情同意。
14. 众包与人类受试者研究（Crowdsourcing and research with human subjects）¶
问题：涉及众包或人类受试者的研究是否包含完整说明和补偿细节？
回答：不适用（N/A）
重点说明：
本论文不涉及相关研究。
指南要点：
若涉及，应提供完整说明、截图、补偿信息。
应支付最低工资。
15. 人类受试者研究的IRB批准（IRB approvals）¶
问题：论文是否描述了对受试者风险、披露和IRB批准情况？
回答：不适用（N/A）
重点说明：
本论文不涉及人类受试者研究。
指南要点：
若获得IRB批准，应明确说明。
初稿提交时应避免泄露匿名信息。
16. 大语言模型使用声明（Declaration of LLM usage）¶
问题：论文是否声明了大语言模型的使用？
回答：不适用（N/A）
重点说明：
本研究核心方法不涉及大语言模型。
指南要点：
若LLM是核心方法的重要组成部分，需声明。
仅用于写作、编辑或格式化则无需声明。
总结：
本论文在NeurIPS检查清单的16项内容中，除第11、14、15、16项为不适用外，其余均回答“是”，表明论文在声明准确性、理论严谨性、实验可复现性、伦理合规性、社会影响等方面均符合会议要求。
Appendix A Theoretical Analysis¶
附录 A 理论分析总结¶
A.1 稀疏随机投影的距离保持性质¶
本节证明了固定稀疏随机投影矩阵 𝑨 具有距离保持性质，表明它可以像哈希路由一样工作，而无需显式路由机制。该结论扩展了经典的 Johnson-Lindenstrauss 引理。
主要定理 A.1（稀疏随机投影的上下界）¶
设 𝑨 ∈ ℝ^{r×n}，其元素 𝑨_{ij} 独立同分布，满足：
𝔼(𝑨_{ij}^2) = σ^2 > 0
四阶矩 𝔼(𝑨_{ij}^4) = C < ∞
则对任意 ε > 0，有：
下界： $\( \mathbb{P}\left(\left\|\frac{1}{\sqrt{r}}\bm{A}\bm{x}\right\|^2 \leq \sigma^2(1-\epsilon)\|\bm{x}\|^2\right) \leq \exp\left(-\frac{(\epsilon^2 - \epsilon^3)r}{2\left(\frac{C}{\sigma^4} + 1\right)}\right) \)$
上界： 若存在 L > 0，使得对任意整数 k > 0， $\( \mathbb{E}(\bm{A}_{ij}^{2k}) \leq \sigma^{2k} \cdot \frac{(2k)!}{2^k k!} \cdot L^{2k} \)\( 则： \)\( \mathbb{P}\left(\left\|\frac{1}{\sqrt{r}}\bm{A}\bm{x}\right\|^2 \geq \sigma^2(1+\epsilon)L^2\|\bm{x}\|^2\right) \leq \exp\left(-\frac{(\epsilon^2 - \epsilon^3)r}{4}\right) \)$
应用于 FlyLoRA 的稀疏高斯投影¶
设 𝑨_{ij} ∼ 𝒩(0, 1/r²)，以概率 p/n 非零，否则为 0。
则：
𝔼(𝑨_{ij}^2) = p / (n r²)
𝔼(𝑨_{ij}^4) = 3p / (n r⁴)
满足定理 A.1 的条件，可得：
定理 A.2（FlyLoRA 投影的距离保持性）¶
对任意 ε > 0，有： $\( \mathbb{P}\left((1-\epsilon)\|\bm{x}-\bm{y}\|^2 \leq \frac{1}{r\sigma^2}\|\bm{A}\bm{x} - \bm{A}\bm{y}\|^2 \leq (1+\epsilon)\|\bm{x}-\bm{y}\|^2\right) \geq 1 - e^{-(\epsilon^2 - \epsilon^3)\frac{r}{4}} - e^{-\frac{(\epsilon^2 - \epsilon^3)r}{2\left(\frac{3p}{n} + 1\right)}} \)$ 说明 FlyLoRA 的稀疏投影在概率上保持了输入向量之间的距离。
✅ 重点总结：
FlyLoRA 使用的稀疏随机投影矩阵具有距离保持性，即在概率上保持输入向量之间的距离。
这是 FlyLoRA 能够实现任务解耦和参数高效合并的理论基础之一。
A.2 Top-k 激活促进秩级解耦¶
本节分析了 Top-k 激活机制 如何减少不同秩方向之间的梯度协方差，从而实现任务解耦。
梯度掩码关系¶
设 𝚲 为 Top-k 激活掩码，则： $\( \frac{\partial\mathcal{L}}{\partial\tilde{\bm{B}}} = \frac{\partial\mathcal{L}}{\partial\bm{B}} \cdot \bm{\Lambda} \)$
梯度协方差定义¶
设 𝒈_i 和 𝒈~_i 分别为稠密和稀疏梯度列向量，其协方差为： $\( \bm{\Sigma}_{(i,j)} = \mathbb{E}[\bm{g}_i^\top \bm{g}_j], \quad \tilde{\bm{\Sigma}}_{(i,j)} = \mathbb{E}[\tilde{\bm{g}}_i^\top \tilde{\bm{g}}_j] \)$
Top-k 激活的协方差缩减¶
设 r > k，Top-k 激活下，列 i 和 j 同时激活的概率为： $\( \mathbb{P}(\lambda_i=1 \cap \lambda_j=1) \approx \frac{k^2}{r^2} \)$
定理 A.3（Top-k 激活下的协方差缩减）¶
✅ 重点总结：
Top-k 激活机制显著降低了不同秩方向之间的梯度协方差（约与 k²/r² 成正比）。
这意味着不同秩方向的更新更独立，从而实现任务解耦。
A.3 随机投影诱导近似子空间正交性¶
本节分析了 不同任务的 LoRA 模块之间的正交性，这是 FlyLoRA 在模型合并中有效性的理论基础。
随机投影的期望与方差¶
设 𝑨_i, 𝑨_j 为两个独立的稀疏随机投影矩阵，则：
期望：𝔼[𝑨_i 𝑨_j^⊤] = 0（零矩阵）
方差：Var((𝑨_i 𝑨_j^⊤)_{ml}) = p² / (n r⁴)
Chebyshev 不等式与 Frobenius 范数¶
对任意 ε > 0： $\( \mathbb{P}(\|\bm{A}_i \bm{A}_j^\top\|_F \geq \epsilon r) \leq \frac{p^2}{n r^2 \epsilon^2} \)$
定理 A.4（近似子空间正交性）¶
期望正交性：𝔼[𝑨_i 𝑨_j^⊤] = 0
多项式衰减的相关性：
$\( \mathbb{P}(\|\bm{A}_i \bm{A}_j^\top\|_2 \geq \epsilon r) \leq \frac{p^2}{n r^2 \epsilon^2} \)$
推论：LoRA 模块间的近似正交性¶
设 𝑩_i 𝑨_i 和 𝑩_j 𝑨_j 为两个 LoRA 模块，则： $\( \langle \bm{B}_i \bm{A}_i, \bm{B}_j \bm{A}_j \rangle_F \approx 0 \quad \text{for } i \neq j \)$
模型合并的 Frobenius 范数分解¶
对于合并模型： $\( \bm{W}' = \bm{W}_0 + \sum_{i=1}^t w_i \bm{B}_i \bm{A}_i \)\( 其 Frobenius 范数近似为： \)\( \left\|\sum_{i=1}^t w_i \bm{B}_i \bm{A}_i\right\|_F^2 \approx \sum_{i=1}^t w_i^2 \|\bm{B}_i \bm{A}_i\|_F^2 \)$
推论 A.5（正交性在模型合并中的体现）¶
不同 LoRA 模块之间近似正交： $\( \langle \bm{B}_i \bm{A}_i, \bm{B}_j \bm{A}_j \rangle_F \approx 0, \quad i \neq j \)$
合并权重的 Frobenius 范数可分解为各模块的加权平方和。
✅ 重点总结：
随机投影使得不同任务的 LoRA 模块在高维空间中近似正交。
这种正交性使得模型合并时各任务参数几乎不干扰，从而实现“权重解耦”。
当输入维度 n 很大时，残余相关性趋于零，进一步提升合并效果。
总结归纳¶
章节 |
核心结论 |
数学重点 |
|---|---|---|
A.1 |
稀疏随机投影具有距离保持性 |
定理 A.1、A.2，概率上下界，高斯分布矩分析 |
A.2 |
Top-k 激活显著降低梯度协方差 |
定理 A.3，协方差与 k²/r² 成正比 |
A.3 |
随机投影诱导 LoRA 模块近似正交 |
定理 A.4、A.5，期望为 0，Frobenius 范数分解 |
✅ 整体意义：
FlyLoRA 的稀疏随机投影 + Top-k 激活机制，从理论上保证了：
输入距离保持
梯度解耦
模型参数正交，便于合并
这些理论支撑了 FlyLoRA 在任务解耦和参数高效合并方面的优越性能。
Appendix B Additional Results¶
附录 B：附加实验结果总结¶
B.1 更大模型上的评估¶
重点内容：
使用 Qwen-2.5-14B 模型进行实验，验证 FlyLoRA 在更大模型上的有效性。
表4 显示 FlyLoRA 在单任务设置下表现最优，参数效率最高（仅激活 0.12% 的参数），在 MMLU、ScienceQA、GSM8K 和 HumanEval 上均优于 LoRA 和 Split-LoRA。
表5 显示在多任务合并后，FlyLoRA 的性能下降最小，表明其具有更强的任务解耦能力。
FlyLoRA 在 14B 模型上训练稳定，无内存或收敛瓶颈，说明其具有良好的可扩展性。
总结： FlyLoRA 在 14B 大模型上依然保持高精度和参数效率，且训练稳定，证明其适用于大规模模型。
B.2 更多基线方法的比较¶
重点内容：
与 AdaLoRA、SoRA、HydraLoRA 等更先进的 LoRA 变体进行比较，使用 Qwen-2.5-7B 模型。
表6 显示 FlyLoRA 在单任务设置下表现最优，参数效率最高（仅激活 0.13% 的参数）。
表7 显示在多任务合并后，FlyLoRA 表现最稳定，甚至在 MMLU 上合并后性能提升（+6.55%）。
FlyLoRA 不需要额外的超参数调优，训练流程更简单。
总结： FlyLoRA 在与更复杂、自适应的 LoRA 方法比较中仍保持优势，尤其在多任务合并场景下表现突出。
B.3 训练时间与内存消耗¶
重点内容：
表8 显示 FlyLoRA 是训练最快、内存消耗最低的方法。
FlyLoRA 的内存优势主要来自其冻结矩阵 A，减少了激活值的内存占用。
表9 的理论分析与实验结果一致，显示 Split-LoRA 由于 MoE 结构，参数和内存消耗显著增加。
LoRA(r=32) 由于秩更高，训练时间和内存消耗最大。
总结： FlyLoRA 在训练效率和内存使用上明显优于其他 LoRA 方法，尤其适合资源受限场景。
B.4 高级模型合并技术的多任务性能¶
重点内容：
使用 TIES-MERGING 和 DARE 等高级模型合并技术评估 FlyLoRA 的多任务合并能力。
表10 和 表11 显示 FlyLoRA 合并后性能下降最小，尤其在 MMLU 和 ScienceQA 上表现稳定。
表12 显示 FlyLoRA 与 KnOTS、L-LoRA 等方法结合后进一步提升性能，说明其可与其他方法协同使用。
总结： FlyLoRA 在多种模型合并策略下均表现优异，且可作为插件与其他方法结合使用，进一步提升多任务合并性能。
B.5 负载均衡策略的消融实验¶
重点内容：
表13 显示 FlyLoRA 对负载均衡策略不敏感，但“loss-free”策略在性能和效率上达到最佳平衡。
无负载均衡策略时性能下降明显（37.56% vs 40.88%）。
总结： FlyLoRA 需要负载均衡机制，但对具体策略不敏感，推荐使用“loss-free”策略以减少计算开销。
B.6 K选择策略的消融实验¶
重点内容：
表14 显示 top-k 激活策略优于随机选择和全激活。
top-k 通过选择最具信息量的维度，有效减少任务间干扰，提升性能。
总结： FlyLoRA 的 top-k 激活机制在生物启发下实现高效任务特征选择，优于随机或全激活方式。
B.7 矩阵 A 初始化方案的消融实验¶
重点内容：
表15 显示不同初始化方案（Gaussian、Rademacher、FJLT、Two-Phase）对性能影响不大。
Two-Phase 初始化在合并后性能下降明显，说明学习过程可能破坏矩阵 A 的近似正交性。
总结： FlyLoRA 对矩阵 A 的初始化方案具有鲁棒性，但不建议使用可学习的初始化方式。
B.8 合并与非合并场景的性能差距分析¶
重点内容：
ScienceQA 在合并后性能下降最大，说明任务分布差异大导致冲突严重。
使用 CKA（Centered Kernel Alignment）衡量单任务适配器与合并模型的输出对齐程度。
表16 显示 FlyLoRA 的 CKA 更高，说明其输出对齐更好，合并后性能下降更小。
总结： FlyLoRA 在任务分布差异大的场景下仍能保持较好的输出对齐，从而减少合并后的性能损失。
总体总结¶
FlyLoRA 在多个维度（更大模型、更多基线对比、训练效率、模型合并、消融实验）上均表现出色，尤其在多任务合并场景下具有显著优势。其核心优势包括：
参数效率高：激活参数最少，训练和内存消耗最低。
任务解耦能力强：在多任务合并后性能下降最小。
训练流程简单：无需复杂调参，适用于大规模模型。
可与其他方法结合：如 TIES-MERGING、DARE、KnOTS、L-LoRA 等，进一步提升性能。
FlyLoRA 是一种高效、稳定、可扩展的 LoRA 变体，适用于多任务学习和模型合并场景。
Appendix C Detailed Experimental Setting¶
附录 C 详细实验设置总结¶
C.1 数据集¶
本节介绍了用于评估方法的五个数据集，涵盖多个领域和任务类型。每个数据集的特点如下：
MMLU：包含57个学术领域的多项选择题，适合评估模型的跨领域泛化能力。
ScienceQA：基于加州教育标准的科学问答数据集，仅使用文本部分进行评估。
GSM8K：包含8,500个小学数学应用题，强调多步推理能力。
CodeAlpaca-20k：20,022个合成生成的代码指令对，用于代码任务的指令微调。
HumanEval：164个手工编写的Python编程问题，确保无训练数据污染。
表17：列出各数据集的训练和测试样本数量及任务类型。
数据集 |
训练样本 |
测试样本 |
任务类型 |
|---|---|---|---|
MMLU |
99,842 |
14,042 |
多项选择 |
ScienceQA |
12,726 |
4,241 |
多项选择 |
GSM8K |
7,473 |
1,319 |
数学问题 |
CodeAlpaca-20k |
20,022 |
- |
代码指令 |
HumanEval |
- |
164 |
代码生成 |
C.2 训练配置¶
本节详细说明实验设置和超参数：
表18：通用训练参数，适用于所有模型和数据集。
参数 |
值 |
|---|---|
总秩 (rr) |
32 |
缩放因子 (α) |
64 |
激活秩 |
8 |
目标模块 |
{q,k,v,o,gate,down,up}_proj |
优化器 |
AdamW |
预热比例 |
0.01 |
累积梯度批次 |
128 |
Dropout率 |
0.00 |
表19：针对不同数据集和模型的特定配置，包括Llama-3.1-8B和Qwen-2.5-7B的训练轮数、学习率、序列长度等。
模型 |
参数 |
MMLU |
ScienceQA |
GSM8K |
CodeAlpaca |
|---|---|---|---|---|---|
Llama-3.1-8B |
训练轮数 |
1 |
20 |
1 |
2 |
学习率 |
3×10⁻⁴ |
3×10⁻⁴ |
3×10⁻⁴ |
3×10⁻⁴ |
|
最大序列长度 |
128 |
256 |
512 |
512 |
|
微批次大小 |
8 |
8 |
8 |
8 |
|
Qwen-2.5-7B |
训练轮数 |
1 |
20 |
1 |
2 |
学习率 |
3×10⁻⁴ |
3×10⁻⁴ |
3×10⁻⁴ |
6×10⁻⁴ |
|
最大序列长度 |
128 |
256 |
512 |
512 |
|
微批次大小 |
8 |
8 |
8 |
8 |
C.3 Split-LoRA¶
Split-LoRA 是基于 MoE 的 LoRA 方法，使用 Sigmoid 激活函数进行专家选择。其门控函数为：
该函数确保路由过程可微且保持稀疏性，作为 MoE 结构在 LoRA 中的代表性基线。
C.4 实验环境¶
实验主要在以下环境中进行：
操作系统：Ubuntu 20.04.4 LTS
CPU：Intel Xeon Platinum 8358P @ 2.60GHz
GPU：8 × NVIDIA GeForce RTX 3090（CUDA 11.7）
大模型实验：使用 NVIDIA A100 GPU（Qwen-2.5-14B）
总结¶
本附录详细描述了实验所用的五个数据集、训练参数、Split-LoRA 方法实现以及实验环境。重点包括：
数据集覆盖多个任务类型，适合全面评估模型性能。
超参数设置统一且针对不同任务进行调整。
Split-LoRA 使用 Sigmoid + Top-k 机制，确保路由稀疏性和可微性。
实验环境配置明确，支持大规模模型训练。
Appendix D Limitations and Future Work¶
附录 D 局限性与未来工作¶
FlyLoRA中矩阵𝑨的优化潜力¶
FlyLoRA方法中，矩阵𝑨采用随机初始化并在训练过程中保持固定。然而，近期的神经科学研究表明，矩阵𝑨并不需要完全固定和随机，这提示未来可以探索更具生物启发性的机制，设计可适应的𝑨矩阵，以增强任务解耦能力。此外，组件可解释性（component-wise interpretability）和频谱调制（spectral modulation）等技术也为设计自适应或频率感知的𝑨矩阵提供了启发，从而提升模型的效率、鲁棒性和任务解耦性能。
与强化学习（RL）训练的结合¶
近年来，针对大语言模型（LLMs）的强化学习微调（RL fine-tuning）成为显著提升其推理能力的有效方法。然而，MoE（Mixture of Experts）结构下的RL训练稳定性问题仍未解决。未来的研究将重点探索FlyLoRA与RL训练的结合，并可能扩展至离线策略优化（offline policy optimization）领域。
数据效率的提升¶
此外，引入主动数据选择（active data selection）方法也被认为是提升数据效率的有前景方向。相关方法已在多个研究中展现出潜力，未来可进一步应用于FlyLoRA框架中以优化训练效率。
总结：本节主要探讨了FlyLoRA在矩阵设计、与强化学习结合以及数据效率提升方面的改进空间，提出了多个具有研究价值的未来方向。
Appendix E Broader Impact¶
附录E：更广泛的影响（Broader Impact）¶
本节讨论了FlyLoRA方法在更广泛领域中的潜在影响，包括其积极意义与潜在风险。
1. FlyLoRA的积极影响¶
FlyLoRA解决了基于MoE（Mixture of Experts）的LoRA方法中参数干扰与效率之间的权衡问题。该方法受到果蝇嗅觉回路的启发，提出了一种高效的解耦机制。
跨领域应用潜力：这种机制不仅适用于当前研究中的语言模型微调，还可能被推广到其他领域，为研究人员和开发者提供更强大的LoRA微调策略。
技术优势：通过引入生物学启发的结构，FlyLoRA在保持模型性能的同时，提升了参数效率，有助于在资源受限环境下部署大模型。
2. 潜在风险与伦理考量¶
尽管FlyLoRA具有显著优势，但也存在被滥用的风险：
偏见与有害内容：该技术可能被用于微调已经存在偏见的大型语言模型（LLMs），或生成有害内容。
建议措施：
在部署FlyLoRA时，应实施模型访问控制机制，限制未经授权的使用。
建议结合偏见监测框架，对模型输出进行持续监控，以减少潜在的社会危害。
总结¶
FlyLoRA不仅在技术层面提供了高效的参数微调方法，还具有广泛的适用前景。但同时，其潜在的滥用风险也要求我们在实际应用中加强伦理与安全方面的控制措施。