MRKL¶
MRKL: Moduar Reasoning, Knowledge and Language(模块化推理、知识和语言)
标题：MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning
组织：AI21 Labs
LLM 开创了 AI 的新时代，成为通往基于自然语言的知识任务的门户。虽然 LM 是现代 AI 的基本要素，但它也在许多方面受到固有的限制。我们将讨论这些限制以及如何通过采用系统方法来避免这些限制。将这一挑战概念化为除了语言处理之外还涉及知识和推理的挑战，我们定义了一个具有多个神经模型的灵活架构，并辅以离散的知识和推理模块。我们描述了这种被称为模块化推理、知识和语言（MRKL，发音为”miracle”）系统的神经符号架构，以及实现它的一些技术挑战，以及 Jurassic-X、AI21 Labs 的 MRKL 系统实现。
Huge language models (LMs) have ushered in a new era for AI, serving as a gateway to natural-language-based knowledge tasks. Although an essential element of modern AI, LMs are also inherently limited in a number of ways. We discuss these limitations and how they can be avoided by adopting a systems approach. Conceptualizing the challenge as one that involves knowledge and reasoning in addition to linguistic processing, we define a flexible architecture with multiple neural models, complemented by discrete knowledge and reasoning modules. We describe this neuro-symbolic architecture, dubbed the Modular Reasoning, Knowledge and Language (MRKL, pronounced “miracle”) system, some of the technical challenges in implementing it, and Jurassic-X, AI21 Labs’ MRKL system implementation.
备注
AI21 Labs 推出了 Jurassic-X 模型。AI21 Labs是一家以色列人工智能公司，专注于开发和推广先进的自然语言处理（NLP）技术，成立于2017年。
MKRL 系统高级设计(high-level design)。MRKL 系统由一组可扩展的模块（“专家”）和一个路由器组成，该路由器将每个传入的自然语言输入路由到能够最好地响应输入的模块（该模块的输出可以是 MRKL 系统的输出，也可以路由到另一个模块）。模块可以是Neural(LLM或专用的小LM), 也可以是Symbolic(计算器，API等)¶
MRKL is a framework that combines LLMs with expert modules that are either LLMs or symbolic (calculator or weather API).
应该有一个明确的方法论，如何将计算从神经网络转移到符号过程。
备注
LLM的作用限制为为符号计算器提取正确的参数，而不是执行计算本身。
MRKL优势:
1. 安全回退：如果输入与任何现有的专家模块不匹配，路由器将输入直接发送到通用的巨大 LM。
2. 强大的可扩展性：由于每个专家都是独立接受培训的，因此我们能够廉价地添加新功能，同时保证它们不会影响现有功能的性能。唯一需要重新训练的组件是路由器，这是一项相对轻量级的任务。
3. 可解释性：当路由器调用特定模块时，这通常有一个附带的好处，即为 MRKL 系统的输出提供基本原理（“1 + 1 = 2，因为计算器是这么说的”）;在现有的语言模型中，这种解释是严重缺乏的。
4. 最新信息：外部 API 的集成使 MRKL 系统能够连接到动态知识库，并正确回答静态模型无法回答的输入。
5. 专有知识：访问专有数据库和其他信息源。
6. 组合性：通过将复合多跳输入路由到不同的专家，我们能够自然地整合他们的响应并正确处理复杂输入