到2026年，llama.cpp 依然係本地運行大型語言模型（LLM）最受歡迎同最強大嘅開源推理框架之一。佢由Georgi Gerganov主導開發，以純C/C++實現，幾乎零外部依賴，支持由手機、樹莓派到高性能伺服器嘅幾乎所有硬件平台，被譽為「本地大模型嘅瑞士軍刀」。佢嘅核心目標係：喺最少設定嘅前提下，實現最先進嘅本地推理效能，並且仲喺不斷進化。

llama.cpp 支持 GGUF 格式模型（而家係本地模型最主流嘅格式），提供豐富嘅量化選項（由2-bit到FP16），並支持CPU、CUDA、Metal、Vulkan、SYCL等多種後端。本文會由原理、安裝、模型準備、運行、優化到生產部署作全面講解，幫助開發者高效落地本地AI應用。

一、llama.cpp 核心原理同優勢

llama.cpp 嘅設計哲學係極致輕量與極致性能。佢唔依賴 PyTorch、TensorFlow 等重量級框架，而係直接實現 Transformer 嘅核心計算邏輯，通過高度優化嘅 C++ 代碼同硬件專屬加速指令，最大化利用 CPU/GPU 資源。

主要技術特點：

GGUF 格式：專為 llama.cpp 設計嘅模型格式，支持高效記憶體映射（mmap），模型加載速度極快。
豐富量化支持：Q2_K、Q3_K、Q4_K_M、Q5_K、Q8_0、FP16 等多種方案，喺保持較高質量嘅前提下大幅降低顯存/記憶體佔用。
硬件加速：支持 CUDA（NVIDIA）、Metal（Apple Silicon）、Vulkan（跨平台 GPU）、CPU AVX/AVX2/AVX-512 等。
伺服器模式：內置高性能 HTTP 伺服器（llama-server），提供 OpenAI 相容 API，方便整合到應用中。

相比其他框架嘅優勢：

體積細、啟動快、資源佔用低；
可移植性極強，幾乎「一次編譯，到處運行」；
社區活躍，更新頻繁（2026 年已支持 Multi-Token Prediction 等前沿特性）。

開源倉庫：https://github.com/ggml-org/llama.cpp

二、安裝部署詳解

1. 最簡單方式：下載預編譯二進制文件（推薦新手）

訪問官方 Releases 頁面：https://github.com/ggml-org/llama.cpp/releases

根據作業系統同硬件選擇對應版本：

Windows：llama-bin-win-avx2-x64.zip（推薦大多數 CPU）或 CUDA 版本。
macOS Apple Silicon：llama-bin-macos-arm64.zip。
Linux：llama-bin-ubuntu-x64.zip。

解壓後就可以使用 llama-cli、llama-server 等可執行檔。

2. 通過包管理器安裝（推薦 Mac/Linux）

macOS：brew install llama.cpp
Nix/NixOS：nix-env -iA nixpkgs.llama.cpp

3. 從源碼編譯（推薦追求極致性能嘅用戶）

通用步驟：

Bash

git clone https://github.com/ggml-org/llama.cpp cd llama.cpp

CPU 基礎編譯：

Bash

cmake -B build -DCMAKE_BUILD_TYPE=Release cmake --build build --config Release -j$(nproc)

NVIDIA GPU（CUDA）編譯（推薦）：

Bash

cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release cmake --build build --config Release -j$(nproc)

Apple Silicon（Metal）編譯：

Bash

cmake -B build -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release cmake --build build --config Release -j$(sysctl -n hw.ncpu)</