STACK / C/C++ · GGUF · CPU/GPU
llama.cpp
手元のハードウェアで、LLM推論を組み立てる
llama.cppは、C/C++で実装されたLLM推論エンジンです。GGUF形式のモデルを、CPUだけの環境からApple Silicon、NVIDIA・AMD・IntelなどのGPUまで幅広いハードウェアで実行でき、CLI・ライブラリ・HTTPサーバーとして利用できます。
モデルを読み込み、プロンプトをトークンへ変換し、生成結果を順次返します。
CONTENTSこの記事の目次＋
01 — POSITION
llama.cppとは
何か
llama.cppは、モデルの重みを読み込み、トークン化・Attention・サンプリングなどの推論処理を実行する低レイヤー寄りのエンジンです。量子化されたGGUF形式のモデルを使い、限られたメモリでもローカル環境での推論を手軽に試せるようにします。
02 — INFERENCE PIPELINE
Promptが回答へ
変わるまで
ツールごとの最適化は違っても、推論の入口から出力までには共通の流れがあります。
GGUF形式の単一ファイルから重みをmmap展開し、指定した層数分だけGPUへオフロード。残りはCPU RAMで安全に完走します。
GGUFを読み込む
重み、トークナイザ、チャットテンプレートなどのメタデータをメモリへ配置します。
→プロンプトをトークン化
会話形式をテンプレートへ当てはめ、モデルが理解できるトークンID列へ変換します。
→次のトークンを計算
CPUやGPUで順伝播を計算し、KVキャッシュを再利用しながら候補トークンをサンプリングします。
→出力を順次返す
生成されたトークンを文字列へ戻し、CLIやHTTPレスポンスとしてストリーミング配信します。
生成中は過去トークンのKey / ValueをKVキャッシュへ保持し、次のトークン計算へ再利用します。
03 — CORE CAPABILITIES
llama.cppを
特徴づける3点
「モデルを動かす」という同じ目的でも、最適化している対象と運用の粒度が異なります。
小さくして載せる
llama.cppはGGUFを標準のモデル形式として採用しています。低ビットへ量子化した重みを選べばメモリ使用量を抑えられ、より小規模なハードウェアでも実行できます。
ハードウェアに合わせる
Metal、CUDA、HIP、Vulkan、SYCLなど複数のバックエンドに対応しています。CPUとGPUの処理分担を調整し、同一のGGUFファイルを異なる環境で柔軟に動かせます。
組み込み方を選ぶ
llama-cliで対話するだけでなく、libllamaを独自アプリケーションへ組み込んだり、llama-serverからOpenAI互換のチャット補完や埋め込みAPIをHTTPで提供したりできます。
04 — QUICK START
GGUFをAPIとして起動する
Hugging Faceから互換GGUFを取得し、OpenAI互換のChat Completionエンドポイントを開きます。
# GGUF modelを取得してserverを起動
llama-server \
-hf ggml-org/gemma-3-1b-it-GGUF \
--port 8080 \
-c 8192
# OpenAI互換endpointへrequest
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "gemma-3-1b-it",
"messages": [
{"role": "user", "content": "KV cacheとは？"}
]
}'01HF 指定したモデルリポジトリから互換GGUFを自動取得
02CONTEXT -cオプションで最大コンテキストトークン数を設定
03API llama-serverがOpenAI互換のHTTPエンドポイントを提供
05 — GOOD FIT
どんな推論環境に
向いているか
手元のハードウェアでの実験や組み込み用途、量子化モデルの評価など、推論エンジンを細かく制御したい場面に向いています。
手元で完結させたい
ノートPCや小型端末上で、外部APIへプロンプトを送信することなくプライベートにモデルを実行したい場面で活躍します。
アプリへ組み込みたい
C言語APIや各種言語バインディングを通じて、自作アプリケーションの一部として推論エンジンを直接利用できます。
ハードウェアを調整したい
量子化ビット数、GPUオフロード層数、コンテキスト長、バッチサイズなどを細かく調整し、メモリと処理速度のバランスを検証できます。
06 — WATCH OUT
導入前に知る
3つの注意点
モデルが起動することと、安全・高速・安定して本番運用できることは別の段階です。
量子化は容量だけでなく品質も変える
ビット数を下げるほど必要メモリは削減できますが、回答品質や特定タスクの精度が低下する場合があります。モデルごとに実測して最適な量子化を選定します。
Chat Templateの不一致に注意する
同じ重みであっても、モデル学習時の役割トークンやプロンプト形式が異なると本来の性能を発揮できません。GGUFのメタデータとチャットテンプレートの設定を確認します。
サーバー起動だけで本番運用にはならない
認証、TLS暗号化、負荷分散、監視、同時リクエスト制限、タイムアウト管理などは別途設計が必要です。処理速度もモデル規模・コンテキスト長・ハードウェア性能に大きく左右されます。
IN ONE SENTENCE
llama.cppとは？
GGUF形式のLLMを、幅広いCPUやGPU上で実行・調整・組み込みできるC/C++製の推論エンジン。
SOURCES / OFFICIAL DOCS