3.2.8. GGML¶
GGML 是 llama.cpp 和 whisper.cpp 的底层技术，是一个基于 C 的机器学习张量库。
GGML 是由 Georgi Gerganov 开发的用于机器学习的张量库。它是用 C/C++ 编写的，旨在快速、便携且易于嵌入，利用各种硬件加速系统，如 BLAS、CUDA、OpenCL 和 Metal。它支持量化推理，以减少内存占用并加快推理速度。 GGML 可跨各种平台无缝运行，包括 Mac、Windows、Linux、iOS、Android、Web 浏览器，甚至 Raspberry Pi。
GGUF 文件格式是一种用于 AI 模型的新的可扩展二进制格式，专为在 PyTorch 等框架中开发的模型而设计。它于 2023 年 8 月推出，专注于快速加载、灵活性和单文件便利性。 GGUF 文件格式与 LLaMA 和 Llama-2 AI 模型一起使用，并在 llama.cpp 上运行。
GGUF 文件格式旨在易于使用，只需少量代码即可加载模型。不需要外部库，因为该文件包含完整的模型信息。它是 GGML、GGMF 和 GGJT 文件格式的后继者，旨在通过包含加载模型所需的所有信息来确保明确性。它还被设计为可扩展的，以便可以将新功能添加到 GGML 中，而不会破坏与旧模型的兼容性。
相关链接¶
What is GGML: https://klu.ai/glossary/ggml
官网: https://ggml.ai/
Tensor library for machine learning: https://github.com/ggerganov/ggml