常用¶

ONNX（Open Neural Network Exchange）：一种通用的模型格式，可用于存储和部署各种深度学习模型，包括大语言模型。ONNX 由微软、Facebook、亚马逊和其他公司共同开发。
ONNX 官方网站: https://onnx.ai/
用途: ONNX 是一个开放的生态系统，用于表示深度学习模型，使得模型可以在不同的深度学习框架之间进行转换和互操作。它支持多种机器学习模型，包括传统的机器学习模型和深度神经网络（DNNs）。
特点: ONNX 定义了一组与平台无关的标准格式，用于增强各种 AI 模型的可交互性。它可以在多种编程语言和平台上运行，并且与不同硬件上的加速器集成，如 Nvidia GPU 上的 TensorRT、Intel 处理器上的 OpenVINO 等。
GGUF 和 ONNX 都是用于模型的存储和部署，但它们服务于不同的目的和应用场景。GGUF 专注于大型语言模型的高效运行，而 ONNX 提供了一个更广泛的模型表示和互操作性解决方案。