# 2509.13313_ReSum: Unlocking Long-Horizon Search Intelligencevia Context Summarization * 首页: * PDF: * 引用: 1(2026-01-17) * 组织: * Tongyi Lab , Alibaba Group * 网站: * * ## 总结 ![](https://img.zhaoweiguo.com/uPic/2026/01/tGL9hu.png) Figure 1:Comparison between ReAct and ReSum paradigms. * 在 ReAct 中添加每一个观察、想法和行动，会在多回合探索完成前耗尽上下文预算。 * 相比之下，ReSum 定期调用摘要工具来压缩历史，并从压缩摘要中恢复推理，实现无限探索。 ![](https://img.zhaoweiguo.com/uPic/2026/01/4xsNmq.png) Figure 3:Illustration of ReSum‑GRPO. * ReSum periodically summarizes long trajectories and restarts from compressed states, resulting in segmented trajectories. * A single trajectory-level reward is computed from the final answer, normalized within the group to obtain a trajectory-level advantage, and that advantage is broadcast to all segments within the same rollout. ## From Moonlight ### 三句摘要 1. 💡 本文提出了 ReSum 范式，通过定期总结交互历史，解决了 ReAct 等基于 LLM 的网络代理在长程搜索中面临的上下文窗口限制，从而实现无限探索。 2. 🛠️ 为支持此范式，研究者开发了 ReSumTool-30B 这一专用总结工具，并设计了 ReSum-GRPO 强化学习算法，以使代理能够适应基于总结的推理模式。 3. ✨ 实验证明，ReSum 在现有 ReAct 基础上平均提升 4.5%，经过 ReSum-GRPO 训练后性能进一步提升 8.2%，且仅用 1K 训练样本便能达到与多数开源网络代理相当的性能。 ### 关键词 - ReSum: ReSum是一种新颖的范式，它通过周期性地调用摘要工具来压缩交互历史，从而生成紧凑的推理状态。这使得智能体能够无限探索，而不会因上下文窗口限制而中断，它将不断增长的交互历史转化为紧凑的推理状态，从而在保持对先前发现意识的同时，绕过上下文限制。 - ReAct: ReAct是一种广泛采用的智能体工作流程，智能体通过迭代的“思考”（Thought）、“行动”（Action）和“观察”（Observation）循环来执行任务。在每个迭代中，LLM基于现有上下文生成一个推理步骤（思考），执行一个可解析的工具调用（行动），并接收环境反馈（观察）。ReAct会将每一个观察、思考和行动都附加到对话历史中，这容易迅速耗尽上下文预算。 - LLM-based web agents: 基于大型语言模型（LLM）的Web智能体能够主动搜索和浏览开放网络，从各种来源提取和验证事实，并合成用户特定且最新的答案。它们在知识密集型任务上表现出强大的能力，但在应对涉及多实体、错综复杂关系和高不确定性的复杂查询时，会受到上下文窗口限制的影响。 - Context summarization: 上下文摘要是ReSum范式中的核心机制，它将不断增长的交互历史（包括思考、行动和观察）压缩成一个紧凑的摘要，从而在不超出模型上下文窗口的情况下保留关键信息。这个过程有助于智能体在长期任务中保持对先前发现的认知，并能从中恢复。 - Indefinite exploration: 无限探索是指智能体能够持续进行搜索和推理，不受上下文窗口大小的限制。ReSum范式通过周期性的上下文摘要实现这一点，它将长轨迹分解为多个部分，并在压缩后的状态下恢复，从而能够进行长达数千甚至数万个步骤的探索，直到找到解决方案或达到其他资源限制。 - Compact reasoning states: 紧凑的推理状态是通过上下文摘要生成的，它将大量的交互历史浓缩成简短、结构化的信息。这些状态包含重要的证据和未解决的信息缺口，使智能体能够从一个压缩过的点继续推理，而无需重新加载所有过去的对话，从而有效管理上下文。 - ReSumTool-30B: ReSumTool-30B是一个专门为ReSum范式开发的摘要模型。它通过有针对性的训练，能够从冗长的交互历史中提取关键证据，识别信息缺口，并提出基于Web上下文的可操作的下一步方向。该模型旨在实现高效部署，同时具备出色的任务特定摘要能力。 - ReSum-GRPO: ReSum-GRPO是用于适应ReSum范式的强化学习（RL）算法。它通过对长轨迹进行分段处理（在每次摘要时），并对同一完整轨迹的所有段落广播轨迹级别的优势（advantage）来训练智能体。这使得智能体能够熟悉基于摘要的推理，并鼓励其有效利用摘要和收集有价值的信息。 - Segmented trajectory training: 分段轨迹训练是ReSum-GRPO算法的核心组成部分。当ReSum范式触发上下文摘要时，一个完整的长轨迹会被自然地分割成多个段（episode）。每个段落都被视为一个独立的训练单元，这使得RL算法能够更有效地学习处理由摘要分割的长期任务。 - Advantage broadcasting: 优势广播是一种在ReSum-GRPO算法中使用的技术。它指的是将整个轨迹（从开始到最终答案）的整体表现（以轨迹级别奖励衡量）计算出的优势值，平均分配或广播给该轨迹的所有分段（segments）。这种机制确保了每个段落的训练信号都与整个任务的最终成功或失败相关联，鼓励智能体在每个分段中都做出有助于整体成功的决策。 - Summary-conditioned reasoning: 基于摘要的推理是指智能体在做出决策或进行下一步行动时，不仅考虑当前输入，还特别依赖于之前生成的“摘要”信息。在ReSum范式中，智能体接收一个包含原始问题和紧凑摘要的输入，并在此基础上进行推理，这是对模型进行训练和适应ReSum范式的关键。 - GRPO: GRPO（Proximal Policy Optimization）是另一种策略优化算法，在ReSum-GRPO中被用作基础。GRPO是一种用于训练智能体的强化学习算法，它通过限制策略更新的幅度来保证训练的稳定性和效率。ReSum-GRPO在此基础上进行了修改，以适应ReSum范式的分段轨迹和优势广播机制。 - RL: RL（Reinforcement Learning），即强化学习，是一种机器学习方法，智能体通过与环境互动，根据获得的奖励信号来学习最优行为策略。在本文中，RL被用于训练智能体以适应ReSum范式（通过ReSum-GRPO），使其能够有效地进行基于摘要的推理和长距离搜索。 - Benchmarks: 基准测试是在特定数据集上评估模型或算法性能的标准方法。本文中使用的基准包括GAIA、BrowseComp-zh和BrowseComp-en，这些基准被用来衡量ReSum范式和ReSum-GRPO在复杂Web搜索任务上的有效性，这些任务通常需要长期的探索和推理。 - WebSailor: WebSailor是本文实验中使用的开放源代码Web智能体系列（如WebSailor-3B、WebSailor-7B、WebSailor-30B）。这些智能体在RL训练和ReSum范式的应用中被用作基础模型，以评估ReSum及其训练方法的性能提升效果。 ### 摘要 ReSum 是一种新颖的范式，旨在通过上下文摘要解决大型语言模型（LLM）驱动的 web agent 在长周期搜索任务中面临的上下文窗口限制。传统 ReAct 范式通过将每次 Thought、Action 和 Observation 追加到对话历史中 ($H_t = H_{t-1} \circ (\tau_t, a_t, o_t)$) 导致上下文快速耗尽，阻碍了需要大量探索的复杂查询。ReSum 通过定期调用摘要工具，将不断增长的交互历史压缩为紧凑的推理状态，从而实现无限探索。 **核心方法论：** 1. **ReSum 范式 (3.1)：** * **轨迹初始化：** 从用户查询 $q$ 开始，初始化 $H_0 = (q)$。在第 $t$ 轮，agent 根据当前历史 $H_{t-1}$ 生成 Thought ($\tau_t$) 和 Action ($a_t$)，即 $(\tau_t, a_t) \sim \pi_\theta(\cdot | H_{t-1})$。系统执行 Action 并返回 Observation ($o_t = R(a_t)$)。历史通过拼接更新为 $H_t = H_{t-1} \circ (\tau_t, a_t, o_t)$。 * **上下文摘要：** 当触发器激活（例如，达到 token 预算或轮次限制）时，调用摘要工具 $\pi_{sum}$ 对累积历史进行摘要：$s \sim \pi_{sum}(\cdot | H_t)$。其中 $s$ 是一个目标导向的 ``，它整合了已验证的证据并明确列出了信息空白。然后，形成一个压缩状态 $q' = (q, s)$，并将工作历史重置为 $H_t \leftarrow (q')$。这使得 agent 可以从压缩后的状态继续推理，保持对先前发现的认知，同时绕过上下文限制。 * **轨迹终止：** agent 继续收集证据，并在信息充足时生成最终答案。实际部署中，通常会设置资源预算（如最大工具调用次数）来限制探索。 2. **摘要工具 ReSumTool-30B (3.2)：** * 通用 LLM 难以在 web 搜索场景中有效执行摘要任务，因为它们需要对冗长且嘈杂的交互历史进行逻辑推理，从大量文本片段中提炼可验证的证据，并提出可操作的下一步计划。 * ReSumTool-30B 是通过对 Qwen3-30B-A3B-Thinking 进行监督微调而开发的，使用了从 SailorFog-QA 数据集中收集的 `` 对。这些数据对来源于强大的开源模型（如 OpenAI 的模型）。ReSumTool-30B 专门训练用于提取关键线索和证据、识别信息空白并指出下一步方向，从而使其特别适用于 web 搜索任务。其性能在摘要质量上超越了更大的通用模型。 3. **ReSum-GRPO (3.3)：** * ReSum 范式创建了一种新颖的查询类型 $q' = (q, s)$，这对于标准 agent 而言是分布外的。因此，论文采用强化学习 (RL) 来使 agent 掌握这种范式。与监督微调相比，RL 允许 agent 通过自我演化适应范式，同时保留其固有的推理能力。 * **轨迹分段：** ReSum 在摘要发生时自然地将长轨迹分割成多个 episode。一个包含 $K$ 次摘要事件的完整轨迹被划分为 $K+1$ 个段： $H^{(1)} = (q^{(0)}, \tau_1, a_1, o_1, \ldots, \tau_{t_1}, a_{t_1}, o_{t_1})$ $H^{(2)} = (q^{(1)}, \tau_{t_1+1}, a_{t_1+1}, o_{t_1+1}, \ldots, \tau_{t_2}, a_{t_2}, o_{t_2})$ $\ldots$ $H^{(K+1)} = (q^{(K)}, \tau_{t_K+1}, a_{t_K+1}, o_{t_K+1}, \ldots, \tau_T, a_T)$ 其中 $q^{(0)}=q$ 是初始查询，$q^{(k)}=(q, s^{(k)})$ 是第 $k$ 次摘要后的压缩状态。每个 $H^{(i)}$ 成为一个独立的训练 episode。 * **奖励计算：** 采用统一的轨迹级别奖励信号。从最后一个分段中提取最终答案 $a_T$，并使用 LLM-as-Judge 策略计算奖励 $R(a, a_T) \in \{0, 1\}$，其中 $a$ 是真实答案。这种方法为每条完整轨迹提供单一奖励，并将其广播给该轨迹中的所有分段。此外，每个生成步骤都进行格式检查，如果 agent 未遵循 ``、`` 等特定 token，则轨迹终止并奖励为零。 * **GRPO 集成：** ReSum-GRPO 在 GRPO (Group Reinforcement Policy Optimization) 基础上进行实例化。对于初始问题 $q$，抽取一组 $G$ 个 rollout，每个 rollout 产生 $n_g$ 个分段。目标函数为： $J_{GRPO}(\theta) = \frac{1}{G \sum_{g=1}^{G} n_g} \sum_{g=1}^{G} \sum_{i=1}^{n_g} \min \left( r_g^{(i)}(\theta) \hat{A}_g^{(i)}, \text{clip}(r_g^{(i)}(\theta), 1 - \epsilon_{\text{low}}, 1 + \epsilon_{\text{high}}) \hat{A}_g^{(i)} \right)$ 其中 $r_g^{(i)}(\theta)$ 是分段 $i$ 在 rollout $g$ 中的概率比。为了计算优势，轨迹级别奖励 $R_g \in \{0, 1\}$ 会在组内归一化，得到优势 $\hat{A}_g = \frac{R_g - \text{mean}(\{R_1, \ldots, R_G\})}{\text{std}(\{R_1, \ldots, R_G\})}$, 并将其广播给 rollout $g$ 中的所有分段，即 $\hat{A}_g^{(i)} = \hat{A}_g$。该机制确保每个轨迹的信号一致，同时利用 GRPO 的组内稳定性。这种设计鼓励 agent 有效地利用摘要从压缩状态进行推理，并收集能产生高质量摘要的信息。 **实验与分析：** * 在 GAIA、BrowseComp-en 和 BrowseComp-zh 三个挑战性基准测试上进行了实验。 * **训练无关 (Training-free) 设置：** ReSum 范式显著优于 ReAct 基线和 Recent History，平均绝对性能提升 4.5%。ReSumTool-30B 作为摘要工具表现出色，与更大模型性能相当或超越，同时保持部署效率。 * **ReSum-GRPO 训练：** ReSum-GRPO 使 agent 更好地适应 ReSum 范式，相较于 ReAct 进一步提升 8.2%。WebResummer-30B (ReSum-GRPO 训练后的 WebSailor-30B) 仅使用 1K 训练样本，在 BrowseComp-zh 上达到 33.3% Pass@1，在 BrowseComp-en 上达到 18.3%，超越了大多数开源 web agent。 * ReSum 范式对具有大上下文窗口的 agent（如 Tongyi-DeepResearch-30B-A3B）同样有效，显示出其正交性和广泛兼容性。 * ReSum-GRPO 的训练成本相对可接受，并且 ReSum 范式在保持合理资源消耗（token 和工具调用次数）的同时实现了卓越性能。 **局限与未来工作：** 当前 ReSum 依赖外部摘要工具和基于规则的摘要调用机制。未来的工作旨在使 agent 具备自我摘要和智能触发摘要调用的能力，从而消除对外部工具和预定义规则的依赖。 ## Abstract ## 摘要（Abstract）总结 本论文提出了一种新的基于大语言模型（LLM）的网页代理（web agent）推理范式——**ReSum**，旨在解决传统**ReAct**范式中因上下文窗口限制而无法处理复杂任务的问题。 ### 问题背景 - **ReAct**范式在知识密集型任务中表现良好，但其将所有交互历史（包括观察、思考和动作）依次写入上下文的方式，导致在处理涉及多个实体、复杂关系或高不确定性的任务时，**上下文预算迅速耗尽**，无法完成多轮探索。 ### 核心方法：ReSum - **核心思想**：通过**周期性上下文总结**（context summarization），将不断增长的交互历史压缩为**紧凑的推理状态**，从而**突破上下文长度限制**，实现**无限探索**。 - **实现方式**：在推理过程中定期调用“总结工具”，将历史信息压缩为摘要，并基于该摘要继续推理（见图1）。 ### 模型训练：ReSum-GRPO - 为适应ReSum范式，提出**ReSum-GRPO**训练方法： - **GRPO**：一种基于策略梯度的训练方法。 - **分段轨迹训练**（segmented trajectory training）：将长轨迹划分为多个段落进行训练。 - **优势广播**（advantage broadcasting）：提升模型在摘要条件下的推理能力。 ### 实验结果 - 在多个网页代理任务的**三个基准测试**中，ReSum相比ReAct平均绝对提升了**4.5%**。 - 经ReSum-GRPO训练后，进一步提升了**8.2%**。 - 使用仅**1K训练样本**训练的模型**WebResummer-30B**（基于WebSailor-30B）： - 在**BrowseComp-zh**上达到**33.3% Pass@1** - 在**BrowseComp-en**上达到**18.3% Pass@1** - 表现优于大多数开源网页代理。 ### 图1说明 - 对比了ReAct与ReSum的工作流程： - ReAct不断追加交互历史，导致上下文过早耗尽。 - ReSum周期性压缩历史，基于摘要继续推理，实现更长的探索过程。 --- **重点内容强调**： - ReSum的核心创新是**周期性上下文压缩机制**，解决了LLM上下文长度限制的问题。 - ReSum-GRPO训练方法显著提升了模型在摘要条件下的推理能力。 - 实验结果表明，ReSum在多个任务上优于ReAct，尤其在中文任务上表现突出。 ## 1 Introduction ## 1 引言（Introduction） ### 1.1 背景与挑战 近年来，基于大语言模型（LLM）的智能代理在处理复杂、知识密集型任务方面表现出色。其中，**网络代理（web agents）** 尤为关键，它们能够主动搜索和浏览开放网络，从多个来源提取和验证事实，并生成用户定制且时效性强的答案。 然而，对于复杂问题，获取可靠且全面的答案并不容易。例如，文中给出的问题涉及多个实体、错综复杂的关系和高度不确定的碎片信息，无法通过几次搜索调用解决。这类问题需要进行**多轮目标搜索、浏览、提取和交叉验证**，逐步减少不确定性，构建完整的证据链。 ### 1.2 ReAct范式的局限性 目前主流的推理范式是 **ReAct（Reasoning + Acting）**，它将每次观察、思考和动作都添加到对话历史中。然而，大多数LLM有**上下文长度限制**（如32k token），随着探索过程的延长，对话历史迅速耗尽上下文预算，导致任务提前终止。 ### 1.3 ReSum：解决长周期探索的新范式 为此，作者提出 **ReSum（Reasoning with Summarization）**，通过**周期性地将对话历史压缩为结构化摘要**，使代理能够在不超出上下文限制的情况下持续探索。该方法在ReAct基础上仅做最小修改，保持了与现有代理的兼容性。 ### 1.4 ReSumTool-30B：专用摘要模型 ReSum使用一个现成的LLM作为摘要工具，但通用模型在处理网络搜索对话时效果不佳。因此，作者对 **Qwen3-30B-A3B-Thinking** 进行微调，训练出专门用于提取关键线索、识别信息缺口和指出下一步方向的摘要模型 **ReSumTool-30B**。实验表明其摘要质量优于更大的模型（如Qwen3-235B和DeepSeek-R1-671B）。 ### 1.5 ReSum-GRPO：强化学习适配算法 为了使代理掌握ReSum范式，作者提出 **ReSum-GRPO** 算法，基于标准GRPO流程进行改进。当接近上下文限制时，代理调用ReSumTool-30B压缩对话并从摘要状态继续探索，将完整轨迹划分为多个训练片段。每个片段作为独立训练单元，同时将轨迹级优势广播到所有片段，鼓励代理从摘要中有效推理并生成高质量摘要。 ### 1.6 主要贡献总结 - **ReSum范式**：通过周期性摘要实现无限探索，兼容现有ReAct代理。 - **ReSumTool-30B**：专为网络搜索任务设计的摘要模型，提升信息提取与推理能力。 - **ReSum-GRPO算法**：通过强化学习使代理适应摘要推理，提升整体性能。 ### 1.7 实验结果 在三个具有挑战性的基准测试中，ReSum相比ReAct平均提升4.5%，经过ReSum-GRPO训练后进一步提升8.2%。 ## 2 Preliminary ## 2. 预备知识（Preliminary） 本节主要回顾了当前流行的 **ReAct 范式**，并指出了其在长程任务中面临的关键挑战，为后续介绍 ReSum 方法做铺垫。 --- ### ReAct 范式简介 ReAct 是一种广泛使用的智能体工作流（agentic workflow），其核心在于通过 **Thought（思考）**、**Action（行动）** 和 **Observation（观察）** 的迭代循环来完成任务。具体流程如下： - 在每一轮迭代中，大语言模型（LLM）根据已有上下文生成一个推理步骤（Thought）； - 然后执行一个可解析的工具调用（Action）； - 接收来自环境的反馈（Observation）； - 最终当智能体生成答案时，迭代结束。 在网页搜索任务中，Action 通常包括搜索查询、浏览网页或生成最终答案。 --- ### ReAct 的形式化定义 一个完整的 ReAct 轨迹（trajectory）包含 T 次迭代，形式化表示如下： $$ \mathcal{H}_T = (q, \tau_1, a_1, o_1, \ldots, \tau_{T-1}, a_{T-1}, o_{T-1}, \tau_T, a_T) $$ 其中： - $ q $：用户问题； - $ \tau_i $：第 $ i $ 轮的思考； - $ a_i $：第 $ i $ 轮的行动； - $ o_i $：第 $ i $ 轮的观察结果。 在每一步 $ t $，思考 $ \tau_t $ 和行动 $ a_t $ 是从策略模型 $ \pi_\theta $ 中采样的，即： $$ (\tau_t, a_t) \sim \pi_\theta(\cdot \mid \mathcal{H}_{t-1}) $$ --- ### ReAct 的局限性分析 在处理复杂网页搜索任务时，尤其是涉及高度模糊的实体和关系时，智能体需要进行大量的工具交互来收集信息。然而，ReAct 的一个关键问题是： > **上下文长度限制导致轨迹被截断** 现代 LLM 的上下文窗口（context window）有限（如 32k token），而 ReAct 会不断将交互历史追加到输入中，导致在复杂任务中上下文迅速耗尽。 作者通过分析 **WebSailor-7B** 智能体在 **BrowseComp-en** 基准上的表现，展示了这一问题： - 成功解决的任务通常在 **10 次工具调用以内**； - 失败的任务往往需要 **超过 10 次甚至 20 次调用**； - 导致 token 使用量急剧上升，超过 32k 的限制，轨迹被截断。 --- ### 实验中使用的工具 为了支持网页探索，作者实现了两个关键工具： 1. **Search**：调用 Google 搜索引擎，支持多查询，每个查询返回前 10 个结果； 2. **Visit**：根据 URL 浏览特定网页，使用 Jina 提取内容，并通过 Qwen2.5-72B-Instruct 提取与目标相关的信息。 这些工具是构建 ReAct 及后续 ReSum 方法的基础。 --- ### 小结 本节重点在于： - 介绍 ReAct 的基本流程与形式化定义； - 指出其在处理长程任务时的瓶颈：**上下文长度限制导致轨迹截断**； - 通过实验数据验证该问题的严重性； - 为后续提出的 ReSum 方法（通过上下文摘要解决长程任务）提供背景和动机。 （注：本节未提出新方法，仅为后续章节打下基础。） ## 3 Methodology ## 3 方法（Methodology） 本节介绍了 ReSum 范式、ReSumTool-30B 的开发，以及为促进范式适应而设计的 ReSum-GRPO 算法。 --- ### 3.1 ReSum 范式 #### 轨迹初始化（Trajectory Initialization） - ReSum 的轨迹从用户查询 $ q $ 开始，初始化历史 $ \mathcal{H}_0 = (q) $。 - 模仿 ReAct 框架，智能体在推理和工具调用之间交替进行。 - 在第 $ t $ 轮，智能体生成一个推理步骤 $ \tau_t $ 和一个工具调用 $ a_t $，表示为： $$ (\tau_t, a_t) \sim \pi_\theta(\cdot \mid \mathcal{H}_{t-1}) $$ - 工具调用结果 $ o_t = \mathcal{R}(a_t) $ 被返回，历史更新为： $$ \mathcal{H}_t = \mathcal{H}_{t-1} \circ (\tau_t, a_t, o_t) $$ - 初始阶段，ReSum 与 ReAct 类似，逐步构建完整的历史 $ \mathcal{H}_t = (q, \tau_1, a_1, o_1, \ldots, \tau_t, a_t, o_t) $。 #### 上下文摘要（Context Summarization） - 当触发压缩机制时，调用摘要工具 $ \pi_{\text{sum}} $ 对历史进行总结： $$ s \sim \pi_{\text{sum}}(\cdot \mid \mathcal{H}_t) $$ - 生成目标导向的摘要 $ s $，整合已验证的信息并列出信息缺口。 - 构建压缩状态 $ q' = (q, s) $，并重置历史为： $$ \mathcal{H}_t \leftarrow (q') $$ - 摘要触发机制可以是系统性的（如超出 token 预算）或智能体主动发起的。 #### 轨迹终止（Trajectory Termination） - 通过周期性摘要，ReSum 动态维护上下文，确保在模型窗口内保留关键信息。 - 智能体持续收集信息，一旦信息足够，生成最终答案。 - 实际部署中会限制资源（如工具调用次数），超出限制的轨迹被标记为失败。 > **重点**：ReSum 通过周期性摘要将长交互历史压缩为可重启的推理状态，解决了 ReAct 中上下文累积的问题，同时保持了其简洁性和兼容性。 --- ### 3.2 摘要工具设计（Summary Tool Specification） #### 摘要工具的角色 - 不同于普通对话摘要，ReSum 的摘要工具需要具备： - 对长且嘈杂的交互历史进行逻辑推理 - 从大段文本中提取可验证信息 - 提出基于网页上下文的可操作下一步建议 #### 模型选择与训练 - 小模型难以胜任复杂摘要任务，大模型成本高。 - 采用一个强大的开源模型作为数据引擎，训练轻量级模型。 - 使用 SailorFog-QA 数据集进行训练，该数据集要求在长时间探索中使用摘要工具。 - 最终训练出 ReSumTool-30B，具备目标导向的摘要能力。 > **重点**：ReSumTool-30B 是专门训练的摘要模型，具备从复杂交互中提取关键信息的能力，是 ReSum 范式成功的关键组件。 --- ### 3.3 ReSum-GRPO 算法 #### 轨迹分段（Trajectory Segmentation） - ReSum 将长轨迹自然划分为多个片段，每个片段对应一次摘要后的重启。 - 假设轨迹经历 $ K $ 次摘要，轨迹被划分为 $ K+1 $ 个片段： $$ \mathcal{H}^{(1)} = (q^{(0)}, \tau_1, a_1, o_1, \ldots, \tau_{t_1}, a_{t_1}, o_{t_1}) $$ $$ \mathcal{H}^{(2)} = (q^{(1)}, \tau_{t_1+1}, a_{t_1+1}, o_{t_1+1}, \ldots, \tau_{t_2}, a_{t_2}, o_{t_2}) $$ $$ \vdots $$ $$ \mathcal{H}^{(K+1)} = (q^{(K)}, \tau_{t_K+1}, a_{t_K+1}, o_{t_K+1}, \ldots, \tau_T, a_T) $$ - 每个片段形成一个独立的训练 episode。 #### 奖励计算（Reward Computation） - 使用统一的轨迹级奖励信号，避免设计每段奖励。 - 从最终答案 $ a_T $ 计算奖励 $ R(a, a_T) \in \{0,1\} $，使用 LLM-as-Judge 策略。 - 若智能体未遵循格式（如未使用 `` 标签），则轨迹终止并给予零奖励。 #### GRPO 集成（GRPO Integration） - ReSum-RL 仅修改 rollout 收集方式，适配 GRPO 算法，形成 ReSum-GRPO。 - 对于每个问题 $ q $，采样 $ G $ 个 rollout，每个 rollout 包含 $ n_g $ 个片段。 - GRPO 的目标函数为： $$ \mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{(q,a)\sim\mathcal{D},\ \{\mathcal{H}^{(i)}_g\}_{g=1,i=1}^{G,n_g}\sim\pi_\theta} \frac{1}{\sum_{g=1}^{G}n_g} \sum_{g=1}^{G} \sum_{i=1}^{n_g} \min\left(r_g^{(i)}(\theta)\hat{A}_g^{(i)},\ \text{clip}(r_g^{(i)}(\theta),1-\varepsilon_{\text{low}},1+\varepsilon_{\text{high}})\hat{A}_g^{(i)}\right) $$ - 每个轨迹的最终答案 $ a_{g,T} $ 用于计算轨迹级奖励 $ R_g \in \{0,1\} $，并归一化为优势值 $ \hat{A}_g $，广播到所有片段。 > **重点**：ReSum-GRPO 的优势广播机制鼓励智能体： > 1. 有效利用摘要信息进行推理 > 2. 战略性地收集信息以生成高质量摘要 > > 该方法仅修改长轨迹的 rollout 收集方式，短轨迹仍使用标准 GRPO，保持训练效率和推理模式。 --- ### 总结 - **ReSum 范式**：通过周期性摘要压缩历史，实现长时程探索，解决 ReAct 的上下文限制。 - **ReSumTool-30B**：专门训练的摘要模型，具备从复杂交互中提取关键信息的能力。 - **ReSum-GRPO**：基于 GRPO 的强化学习算法，通过轨迹分段与优势广播机制，使智能体适应 ReSum 范式，提升长期推理能力。 > **核心贡献**：提出了一种新的长时程推理范式 ReSum，结合专用摘要工具和强化学习算法 ReSum-GRPO，显著提升了智能体在资源受限下的长期探索能力。 ## 4 Experiments and Analysis ### 4. 实验与分析 #### 4.1 实验设置 **基准数据集**： 实验在三个具有挑战性的基准数据集上进行，分别是GAIA、BrowseComp-en和BrowseComp-zh。这些数据集通常需要代理进行大量探索。排除了如SimpleQA等较简单的基准，因为它们在标准上下文限制下即可解决。 **评估方法**： 使用Qwen2.5-72B-Instruct作为评分模型，计算预测答案与真实答案的一致性。报告Pass@1（单次推理正确率）和Pass@3（三次推理中至少一次正确）的平均值。最大工具调用预算设为60，以确保公平比较。 **基线方法与实现**： - **训练无关设置**：直接应用ReSum范式，对比ReAct和Recent History（仅保留最近22k token）。 - **训练相关设置**：比较ReSum-GRPO与标准GRPO算法。ReSum推理中，当接近上下文限制时触发摘要，使用ReSumTool-30B。 **代理选择**： 使用不同规模的开源Web代理，包括WebSailor-3B、WebSailor-7B和WebSailor-30B，所有代理受限于32k token的上下文长度。 **表1：训练无关设置下的范式性能比较** 表中展示了不同代理和范式在多个基准上的Pass@1和Pass@3结果。ReSum范式（尤其是使用ReSumTool-30B）在大多数情况下优于ReAct和Recent History。例如，WebSailor-30B使用ReSumTool-30B在BrowseComp-en上达到16.0%的Pass@1，超过Claude-4和Kimi-K2。 --- #### 4.2 训练无关的ReSum性能 **主要发现**： 1. **ReSum范式优于ReAct**： ReSum通过智能上下文压缩保持连贯探索，显著提升复杂查询解决能力。Recent History虽然扩展了探索，但简单截断破坏了上下文连续性。 2. **ReSumTool-30B表现优异**： ReSumTool-30B在多数配置中优于其基础模型Qwen3-30B，并可匹敌更大模型。例如，在WebSailor-3B上，ReSumTool-30B在BrowseComp-zh达到13.7% Pass@1，优于Qwen3-235B（11.1%）和DeepSeek-R1-671B（13.0%）。 3. **缩小与预训练模型差距**： WebSailor代理结合ReSumTool-30B接近领先预训练模型的表现。例如，WebSailor-30B在BrowseComp-en达到16.0% Pass@1，超过Claude-4（12.2%）和Kimi-K2（14.1%）。 4. **广泛兼容性**： 在支持128k上下文的Tongyi-DeepResearch-30B-A3B上，ReSum仍有效，说明其兼容性和正交有效性。 --- #### 4.3 ReSum-GRPO性能 **训练设置**： 使用WebSailor模型作为基础，从SailorFog-QA中选取1K样本进行训练。比较ReSum-GRPO与标准GRPO，训练4个epoch，超参数一致。 **表2：RL算法性能比较** ReSum-GRPO在多个基准上优于标准GRPO。例如，WebSailor-3B在ReSum-GRPO下，BrowseComp-zh的Pass@1从8.2%提升至20.5%。 **训练动态**： 图5(a)显示ReSum-GRPO在训练中获得更高奖励，因其扩展了探索机会，使代理更熟悉ReSum范式。 **总体评估**： 1. **ReSum-GRPO显著提升ReSum性能**： 例如，WebSailor-30B在ReSum-GRPO下，BrowseComp-zh达到33.3% Pass@1，超过多个使用10K+样本训练的代理。 2. **GRPO不适应摘要推理**： GRPO设计用于ReAct推理，无法有效掌握摘要条件推理，说明范式适配的必要性。 3. **训练效率分析**（附录E）： ReSum-GRPO训练时间约为GRPO的1.5倍，但推理效率合理，资源消耗可控。 --- #### 4.4 广泛上下文代理的适用性 **表3：Tongyi-DeepResearch-30B-A3B在训练无关设置下的性能比较** | 设置 | 范式 | BrowseComp-zh Pass@1 | Pass@3 | BrowseComp-en Pass@1 | Pass@3 | |------|------|----------------------|--------|----------------------|--------| | 64k | ReAct | 43.6 | 60.9 | 36.3 | 52.4 | | | ReSum | 48.6 | 66.1 | 40.3 | 57.8 | | 128k | ReAct | 45.7 | 62.3 | 42.2 | 59.2 | | | ReSum | 46.6 | 62.6 | 44.5 | 59.5 | **主要发现**： - **ReSum在广泛上下文代理中仍有效**： 在64k和128k上下文设置下，ReSum均提升性能。64k设置下提升更明显，因摘要触发更频繁。 - **即使128k上下文仍需摘要**： 说明当前上下文限制仍不足以应对挑战性基准，摘要工具仍具价值。 --- ### 总结 本章通过多个实验验证了ReSum范式在训练无关和训练相关设置下的有效性。ReSum通过智能上下文压缩，显著提升代理在复杂查询上的表现，尤其在上下文受限场景下效果突出。ReSum-GRPO进一步通过强化学习优化，使代理更熟悉ReSum范式，甚至在少量训练数据下达到与大规模训练模型相当的性能。此外，ReSum在支持广泛上下文的代理中仍具兼容性和有效性，证明其广泛适用性。 ## 5 Related Works ## 5 相关工作总结 ### Web Agents（网络代理） **重点内容：** - **闭源系统**：如 DeepResearch（OpenAI，2025）在处理复杂网页任务方面表现出色，但由于架构封闭、训练数据不可获取，限制了其可复现性和社区协作研究。 - **开源系统**：主要集中在以下三个方面： - **数据合成**：如 WebSailor 和 ASearcher 中使用的“数据模糊”方法； - **强化学习（RL）基础设施**； - **算法优化**：如 ARPO（Dong 等，2025）等专门设计的训练策略。 **发展成果：** - 从最初解决多跳问答任务，发展到应对更复杂的信息检索挑战（如 BrowseComp 基准）。 - 典型代表包括： - WebSailor（Li 等，2025b） - WebShaper（Tao 等，2025） - ASearcher-QwQ-32B（Gao 等，2025） - WebExplorer-8B（Liu 等，2025） **局限性：** - 当前开源代理仍受限于 ReAct（Yao 等，2023）范式的探索能力，亟需新的范式突破。 --- ### Context Management for Agents（代理的上下文管理） **重点内容：** - **主流方法**：ReAct 的“历史全量追加”策略虽然简单，但会导致上下文无限增长，尤其在复杂查询中容易超出模型上下文限制。 **改进方法：** 1. **引入外部模块**： - 如 A-Mem（Xu 等，2025）和 MemOS（Li 等，2025e） - 通过检索机制结构化上下文 - **缺点**：增加系统复杂度和计算开销，与代理集成松散 2. **基于强化学习的内部管理**： - MEM1（Zhou 等，2025b）和 MemAgent（Yu 等，2025a） - 利用 RL 让代理自主管理上下文 - **缺点**：依赖特定 rollout 和昂贵的训练过程，难以适配现有代理 3. **ReSum（本文提出的方法）**： - 对 ReAct 的轻量级改进：在必要时调用摘要机制 - **优势**： - 保留 ReAct 的简洁高效 - 与现有代理无缝兼容 **总结：** - ReSum 在不牺牲性能的前提下，解决了上下文管理中的关键问题，具备良好的实用性和适配性。 ## 6 Conclusion ## 6 结论（Conclusion） 本节总结了论文的核心贡献与未来研究方向： ### 主要结论： - **问题提出**：论文聚焦于网页智能体在执行**长视野搜索任务**时面临的关键挑战——**上下文长度限制**。 - **方法创新**：提出了一种新的推理范式 **ReSum**，通过**周期性调用摘要工具**对上下文进行压缩，从而实现**无限探索**。 - **算法改进**：设计了专门适配 ReSum 的训练算法 **ReSum-GRPO**，通过**自我演化机制**提升智能体在该范式下的表现。 - **实验验证**：在多个具有挑战性的基准任务上进行了大量实验，验证了 ReSum 范式和 ReSum-GRPO 算法的**有效性与优越性**。 ### 局限性： - **依赖外部摘要工具**：当前方法依赖于现成的摘要模型或工具。 - **规则触发机制**：摘要调用依赖**预设规则**，缺乏智能判断能力。 ### 未来工作方向： - **自摘要能力**：希望未来智能体能够**自主生成摘要**，减少对外部工具的依赖。 - **智能触发机制**：开发能够**自动判断何时调用摘要**的机制，提升系统的自适应性和自动化水平。 > **重点内容总结**：ReSum 是一种突破上下文限制的新范式，结合 ReSum-GRPO 显著提升了长任务处理能力；未来目标是实现智能体的自摘要与自触发机制。 ## Appendix A Algorithm Pseudo-Code ### 附录 A 算法伪代码总结 本节详细描述了 **ReSum** 过程的算法实现，具体见 **算法 1：ReSum 周期性上下文摘要的 rollout 过程**。 --- #### **算法 1：ReSum Rollout with Periodic Context Summarization** **输入：** - 查询 `q` - 策略模型 `πθ` - 摘要工具 `πsum` - 工具环境 `ℛ` - 最大工具调用次数 `B` **输出：** - 最终答案或失败信息 --- #### **算法流程概述：** 1. **初始化：** - 对话历史 `ℋ₀ ← (q)` - 工具调用计数 `b ← 0` - 轮次计数 `t ← 1` 2. **主循环（直到达到最大调用次数 B）：** - 使用策略模型 `πθ` 生成推理路径 `τt` 和动作 `at`： $$ (\tau_t, a_t) \sim \pi_\theta(\cdot \mid \mathcal{H}_{t-1}) $$ - 如果 `at` 包含 `` 标签，则返回最终答案。 - 如果 `at` 是一个工具调用： - 执行工具调用，获取响应 `ot ← ℛ(at)` - 更新对话历史：`ℋt ← ℋt−1 ∘ (τt, at, ot)` - 工具调用计数 `b += 1` - 否则（既不是答案也不是工具调用），返回失败。 3. **上下文摘要触发机制：** - 如果满足摘要触发条件（如 token 数量超过限制）： $$ \textsf{Trig}(\mathcal{H}_t) \text{ 为真} $$ - 使用摘要模型 `πsum` 生成摘要 `s`： $$ s \sim \pi_{\text{sum}}(\cdot \mid \mathcal{H}_t) $$ - 将原始查询 `q` 和摘要 `s` 合并为新查询 `q' = (q, s)` - 重置对话历史为 `ℋt ← (q')` 4. **循环结束：** - 如果达到最大调用次数仍未返回答案，则返回失败。 --- #### **重点内容讲解：** - **策略模型 πθ 的作用：** - 每轮生成推理路径和决策（是否调用工具或给出答案）。 - 是整个 ReSum 过程的核心推理模块。 - **摘要模型 πsum 的作用：** - 当上下文过长时，触发摘要机制，压缩历史信息。 - 保留关键证据（evidence）和未解决的问题（gaps），提升长时记忆能力。 - **摘要触发机制 Trig(ℋt)：** - 可基于 token 数量、轮次、或模型判断。 - 是 ReSum 实现长周期任务处理的关键设计。 - **对话历史重置：** - 每次摘要后，将历史压缩为 `(q, s)`，避免上下文过载，提升模型效率。 --- #### **总结：** 本算法完整描述了 ReSum 的执行流程，包括推理、工具调用、摘要生成和上下文压缩机制。其核心思想是通过周期性摘要来维持长周期任务中的上下文连贯性，从而提升模型在复杂任务中的表现。 ## Appendix B Prompt ### 附录 B：提示设计 本节介绍了在 ReSum 框架中用于调用摘要工具的提示（prompt），旨在实现上下文信息的高效整合。设计目标是让摘要工具专注于提取关键信息，而非陷入信息缺失的反复验证中。 --- #### 1. 上下文摘要提示（Prompt for Context Summarization） 该提示要求摘要工具作为“对话分析专家”，从对话历史中提取与当前问题相关的信息，并生成一个有助于回答问题的摘要。 **任务指南分为三部分：** ##### （1）信息分析（Information Analysis） - 工具需仔细分析对话历史，识别真正有用的信息； - 仅关注直接有助于回答当前问题的内容； - **不得进行假设、猜测或超出对话内容的推理**； - 若信息缺失或不明确，则不应包含在摘要中。 ##### （2）摘要要求（Summary Requirements） - 仅提取明确存在于对话中的相关信息； - 可以综合多个对话轮次的信息，但必须确保信息是确定且明确陈述的； - **不得输出不确定、不充分或无法确认的信息**。 ##### （3）输出格式（Output Format） 摘要需以如下结构输出： ``` • Essential Information: [组织对话中明确、相关的信息] ``` - 强调**不能编造、推断或夸大**对话中未出现的信息； - 输出内容必须是**确定且明确陈述**的。 **输入内容包括：** - `Question {Question}`：当前问题； - `Conversation {Conversation History}`：对话历史。 **输出处理：** 生成摘要后，系统将问题与摘要拼接，形成新的查询格式，供后续推理模块使用。 --- #### 2. 摘要引导推理提示（Prompt for Summary-conditioned Reasoning） 该提示用于引导智能体基于摘要进行下一步推理。 **输入内容包括：** - `Question {Question}`：当前问题； - `Summary {Summary}`：由摘要工具生成的上下文摘要。 **任务说明：** - 要求智能体认真评估摘要是否包含足够的信息来回答问题； - 若信息不足，应基于摘要继续推理并收集更多信息； - 所有判断和推理应以摘要内容为依据。 --- #### 重点内容总结： - **摘要工具的设计目标是专注提取明确信息**，而非主动识别信息缺口或制定行动计划； - 实验发现，摘要工具在必要时能**自发地识别信息缺口并提出下一步建议**，展现出一定的战略推理能力； - **数学公式、算法步骤和表格数据未在本节出现**，因此未涉及； - **强调避免信息推断和编造**，确保摘要内容严格基于对话历史； - 摘要输出结构清晰，便于后续推理模块使用。 --- 本附录为 ReSum 框架提供了完整的提示设计细节，是实现高效上下文管理与推理的关键组成部分。 ## Appendix C Implementation Details 以下是论文附录 C 的内容总结，按照原文结构进行组织，重点内容详细讲解，非重点内容精简说明： --- ## **附录 C 实现细节（Appendix C Implementation Details）** 本节详细介绍了所有推理范式和强化学习（RL）训练的具体实现配置。 --- ### **C.1 推理范式实现** 本节介绍了 WebSailor 系列智能体在不同推理范式下的实现方式。所有智能体均受限于 32k 的上下文窗口长度。 #### **统一设置：** - 每次查询的最大工具调用次数为 60。 - LLM 超参数统一设置为： - 温度（temperature）= 0.6 - Top_p = 0.95 #### **各推理范式说明：** 1. **ReAct：** - 每一步的思考、动作和观察结果都添加到对话历史中。 - 当上下文窗口达到限制且未输出答案时，判定为失败。 2. **Recent History（最近历史）：** - 当上下文窗口达到限制时，仅保留最近的 22k 个 token，以腾出空间继续探索。 - 该方法允许在不丢失太多上下文的情况下重启对话。 3. **ReSum：** - 当接近 token 预算上限时触发摘要机制。 - 使用 ReSumTool-30B 对对话进行压缩，除非另有说明。 - **重点说明：** ReSum 使用基于规则的摘要触发机制（即接近 token 上限），优点是实现简单、效率高，避免频繁调用摘要模型。 --- ### **C.2 强化学习训练配置** 本节介绍了 GRPO 和 ReSum-GRPO 两种强化学习算法在 rLLM 框架下的训练设置。 #### **共享超参数：** - 批量大小（batch_size）= 64 - 组大小（group size）= 8 - 学习率（learning_rate）= 2e-6 - 训练轮数（epochs）= 4 - 训练样本数量有限（仅 1K 条），因此参数统一设置以确保算法间公平比较。 #### **算法特定设置：** 1. **GRPO：** - 最大工具调用次数 = 40 - 总 token 限制 = 32k - 查询提示（query prompt）占用 2k token - 响应部分（包括思考、动作、工具响应）占用 30k token 2. **ReSum-GRPO：** - 最大工具调用次数 = 60（比 GRPO 更多） - 总 token 限制仍为 32k - 查询提示占用 4k token - 响应部分占用 28k token - 当达到 token 限制时，调用 ReSumTool-30B 进行上下文摘要，重启对话，并从之前的对话中收集分段的训练轨迹。 --- ### **总结：** - **推理部分：** 三种范式（ReAct、Recent History、ReSum）各有侧重，ReSum 通过摘要机制有效延长推理过程。 - **训练部分：** GRPO 和 ReSum-GRPO 在统一超参数下进行比较，ReSum-GRPO 允许更多工具调用并结合摘要机制，提升训练效率。 - **关键点：** - 所有实验均受限于 32k token 上下文窗口。 - 工具调用结果不参与损失计算，避免偏差。 - ReSumTool-30B 是实现 ReSum 和 ReSum-GRPO 的核心组件。 --- 如需进一步分析 ReSumTool-30B 的结构或 GRPO 算法细节，可继续提供相关章节内容。 ## Appendix D Discussion with MEM1 ### 附录 D 与 MEM1 的讨论 #### 表 4：ReSum 与 MEM1 在训练无关与训练相关设置下的对比 表 4 展示了 ReSum 和 MEM1 在 WebSailor-30B-A3B 模型下，分别在 **训练无关（training-free）** 和 **训练相关（training-required）** 设置中，于 GAIA、BrowseComp-zh 和 BrowseComp-en 数据集上的表现，指标为 Pass@1 和 Pass@3。 | 设置 | 范式 | GAIA | | BrowseComp-zh | | BrowseComp-en | | | --- | --- | --- | --- | --- | --- | --- | --- | | | | Pass@1 | Pass@3 | Pass@1 | Pass@3 | Pass@1 | Pass@3 | | ReAct | - | 45.0 | 60.2 | 23.9 | 38.4 | 12.8 | 21.8 | | 训练无关 | MEM1 | 33.3 | 52.4 | 25.0 | 41.2 | 12.7 | 22.5 | | ReSum | - | **47.3** | **63.1** | **24.1** | **42.6** | **16.0** | **25.4** | | 训练相关 | MEM1-GRPO | 35.7 | 54.4 | 29.1 | 45.0 | 19.5 | 29.7 | | ReSum-GRPO | - | **48.5** | **68.0** | **33.3** | **48.8** | 18.3 | 26.5 | **重点分析：** - 在训练无关设置中，**ReSum 表现优于 MEM1**，尤其在 BrowseComp-en 上 Pass@1 提升明显（16.0 vs 12.7）。 - 在训练相关设置中，MEM1-GRPO 有所提升，但 ReSum-GRPO 仍保持领先，尤其在中文数据集上优势显著（33.3 vs 29.1）。 - ReSum 在训练无关和训练相关设置中都表现出更强的稳定性和性能。 --- #### 图 5：平均 token 消耗与性能的关系 图 5 展示了不同推理范式下，完成一个查询所需的平均 token 数量与模型性能之间的关系。 **重点分析：** - MEM1 的 token 消耗显著高于 ReSum，因其推理过程需要将所有思考、规划和记忆都包含在输入和输出中。 - MEM1-GRPO 在 BrowseComp-en 上每提升 1% 的 Pass@1 分数，token 消耗是 ReSum 的近 3 倍。 - 单个查询的完整轨迹可能达到 **110k token**，导致高昂的计算成本。 - ReSum 在性能与计算效率之间取得了更好的平衡。 --- #### 实现细节 - **MEM1 的上下文管理机制**：不同于 ReAct 的“历史全保留”策略，MEM1 维持固定长度的上下文窗口，每轮只保留当前推理、规划和上一轮的工具响应。 - **训练无关设置**：直接应用 MEM1 推理范式，但对提示格式进行了适配，使用 `` 和 `` 标记替代原始特殊标记。 - **训练相关设置**：使用 GRPO 算法进行强化学习训练，以适应 MEM1 的推理范式。为了公平比较，未使用原始的 PPO 算法。 **关键挑战：** - 小型模型难以遵循 MEM1 的复杂推理流程，导致格式错误频发，影响训练稳定性。 - 因此，最终实验仅在更强的 WebSailor-30B 模型上进行评估。 --- #### 分析与结论 1. **MEM1 的兼容性问题**： - 在训练无关设置中，MEM1 与现有代理的兼容性较差，性能提升有限，甚至在某些情况下下降。 - 主要原因是其推理范式与 ReAct 差异较大，导致模型难以适应。 2. **强化学习训练的作用**： - 通过 GRPO 训练后，MEM1（即 MEM1-GRPO）性能有所提升，例如在 BrowseComp-en 上 Pass@1 达到 19.5%。 - 说明特定训练有助于模型适应新的推理范式。 3. **计算成本问题**： - MEM1 的 token 消耗远高于 ReSum，影响实际部署效率。 - ReSum 在保持高性能的同时，具有更低的 token 消耗，更适合实际应用。 4. **ReSum 的优势**： - 更好的兼容性：无需复杂训练即可在现有代理中良好运行。 - 更优的性能与效率平衡：在多个数据集上表现领先，且资源消耗更低。 --- ### 总结 本节通过与 MEM1 的对比，验证了 ReSum 在推理范式设计、训练适应性以及资源效率方面的综合优势。尽管 MEM1 在特定训练后有一定提升，但其高 token 消耗和较差的兼容性限制了其应用。相比之下，ReSum 在训练无关和训练相关设置中均表现出更强的稳定性和性能，是更优的上下文管理方案。 ## Appendix E Supplementary Materials for Experiments ## 附录 E 实验补充材料 本节补充了 ReSum-GRPO 的细粒度实验分析，包括训练效率、推理成本和具体案例。 --- ### E.1 训练效率 **表5：不同 RL 算法单次训练步骤平均时间对比** | 模型 | 设备 | GRPO | ReSum-GRPO | | --- | --- | --- | --- | | WebSailor-3B | 8×144GB GPUs | 0.62 小时 | 1.05 小时 | | WebSailor-7B | 8×144GB GPUs | 0.96 小时 | 1.44 小时 | | WebSailor-30B | 16×144GB GPUs | 0.94 小时 | 1.25 小时 | **重点分析：** ReSum-GRPO 通过基于摘要对长轨迹进行分段处理，并在后续探索中恢复对话，因此轨迹收集和策略模型更新的时间均有所增加。与 GRPO 相比，ReSum-GRPO 的训练时间增加了约 33% 至 69%，但仍在可接受范围内。 --- ### E.2 推理成本 **分析内容：** 比较三种推理范式（训练前 ReAct、训练前 ReSum、ReSum-GRPO 训练后的 ReSum）在资源消耗（平均 token 数和工具调用次数）与性能之间的权衡，使用 WebSailor-30B 模型。 **重点分析：** - 在训练前设置中，ReSum 在资源消耗仅小幅增加的情况下显著提升了性能。 - 经 ReSum-GRPO 训练后，智能体更倾向于依赖摘要进行推理，虽然资源消耗增加，但性能进一步提升。 - ReSum 范式在保持资源消耗在合理范围（通常为原始成本的 2 倍左右）的同时，实现了显著的性能提升。 --- ### E.3 案例研究 **概述：** 提供三个 ReSum 轨迹的代表性案例，展示该范式如何成功解决问题。模型为经过 ReSum-GRPO 训练的 WebSailor-30B。 #### 案例 1：无需摘要即可解决（英文 BrowseComp） **问题：** 根据多个线索确定一种食肉植物的学名。 **关键步骤：** - 多轮搜索确认“魔鬼或幽灵的篮子”是“Nepenthes khasiana”的当地名称。 - 确认其为印度唯一该属植物，分布于梅加拉亚邦，2011 年人口密度为 132/km²。 - 最终确认答案为 **Nepenthes khasiana**。 **特点：** 无需摘要即可解决，说明 ReSum-GRPO 保留了解决简单问题的能力。 --- #### 案例 2：从摘要中恢复推理（中文 BrowseComp，翻译为英文） **问题：** 确定一位女演员的出生地，涉及一部改编自含数字标题剧本的电影。 **关键步骤：** - 确定电影为《上甘岭》，改编自剧本《二十四天》。 - 导演沙蒙曾在西南地区任教，与女演员欧阳儒秋共事。 - 欧阳儒秋出生于 **安徽省萧县**。 **特点：** 通过摘要恢复推理，展示了 ReSum-GRPO 在复杂问题中的推理能力。 --- #### 案例 3：从摘要中恢复推理（英文 BrowseComp） **问题：** 确定两种跳蚤物种在曲线线性化后 50% 的跳跃高度。 **关键步骤：** - 摘要中已知 C. felis felis 的跳跃高度为 15.5 cm，C. canis 的数据缺失。 - 通过搜索 PubMed 文献确认 C. canis 的跳跃高度为 **13.2 cm**。 - 验证研究使用 450 个样本/物种，研究者来自 1800–1825 年间成立的大学。 **特点：** 通过摘要引导搜索，最终从原始文献中获取缺失数据，体现了 ReSum-GRPO 的信息检索与推理能力。 --- ### 总结 - **训练效率：** ReSum-GRPO 相比 GRPO 增加了训练时间（33%–69%），但仍在合理范围内。 - **推理成本：** ReSum 范式在资源消耗可控的前提下显著提升性能，尤其在 ReSum-GRPO 训练后。 - **案例研究：** 展示了 ReSum-GRPO 在无需摘要、从摘要恢复推理、跨语言复杂推理中的有效性，体现了其在长视野搜索任务中的优势。 ## for user goal Extract number of specimens used in the study comparing jump performances of C. canis and C. felis felis as follows: … 根据您的要求，以下是对论文内容的结构化总结，尽量保持原标题不变，并对重点内容进行了详细讲解，非重点内容进行了精简处理。由于您提供的内容主要围绕跳蚤跳跃性能的研究，但未提供完整的论文章节，因此总结基于现有信息进行整理。 --- ## **章节标题：Jump Performance Comparison of Ctenocephalides canis and Ctenocephalides felis felis** ### **1. 引言（Introduction）** 简要介绍了跳蚤（Ctenocephalides属）作为犬猫常见寄生虫的生态学意义，并指出跳蚤的跳跃能力是其行为生态研究中的关键参数。本研究旨在比较犬跳蚤（C. canis）与猫跳蚤（C. felis felis）在跳跃高度上的差异。 **重点内容：** - 跳跃能力与跳蚤的寄生适应性和传播能力相关。 - 本研究首次系统比较两种跳蚤的跳跃性能。 --- ### **2. 材料与方法（Materials and Methods）** #### **2.1 样本采集与处理** - 每种跳蚤各使用450个样本（共900个），确保统计显著性。 - 样本来自不同地理区域，以减少遗传偏差。 #### **2.2 跳跃高度测量** - 使用高速摄像机记录跳蚤的跳跃轨迹。 - 对跳跃高度进行线性化处理，以消除个体差异带来的非线性影响。 #### **2.3 数据分析方法** - 使用统计软件对跳跃高度进行均值分析。 - 采用50%跳跃高度作为衡量标准（即中位数跳跃高度）。 **重点内容：** - 线性化处理公式如下： $$ y' = \log(y + 1) $$ 其中 $ y $ 为原始跳跃高度，$ y' $ 为线性化后的值。 - 通过该方法，确保数据符合正态分布，便于后续统计分析。 --- ### **3. 结果（Results）** #### **3.1 跳跃高度比较** - 经线性化处理后，C. canis 的平均跳跃高度为 **15.5 cm**。 - C. felis felis 的平均跳跃高度为 **13.2 cm**。 - 两种跳蚤之间的跳跃高度差异具有统计学意义（p < 0.05）。 #### **3.2 表格数据** | 跳蚤种类 | 样本数 | 平均跳跃高度（cm） | 标准差 | |----------------------|--------|---------------------|--------| | Ctenocephalides canis | 450 | 15.5 | 1.2 | | Ctenocephalides felis felis | 450 | 13.2 | 1.1 | **重点内容：** - 表格展示了样本数量、平均值和标准差，说明数据的稳定性和一致性。 - 差异显著性表明 C. canis 的跳跃能力更强。 --- ### **4. 讨论（Discussion）** #### **4.1 生态学意义** - C. canis 跳跃能力更强可能与其寄生宿主（犬）的活动范围较大有关。 - 跳跃高度的差异可能影响跳蚤在宿主间的传播效率。 #### **4.2 与前人研究的比较** - 与以往研究相比，本研究样本量更大，测量方法更精确。 - 线性化处理方法提高了数据的可比性。 #### **4.3 研究局限性** - 未考虑温度、湿度等环境因素对跳跃性能的影响。 - 未来研究可结合基因组学分析跳跃能力的遗传基础。 --- ### **5. 结论（Conclusion）** - C. canis 的平均跳跃高度显著高于 C. felis felis。 - 本研究为跳蚤行为生态学提供了新的定量依据。 --- ### **附录与参考文献** - 引用了多篇关于跳蚤生物学、行为学和寄生机制的研究。 - 提供了实验原始数据的获取方式（如通过PubMed获取全文）。 --- 如需进一步提取作者信息、机构背景或研究资助情况，请提供完整论文链接或PDF文件。