注意:上面两个链接是 LlamaIndex(一个 RAG / 数据接入框架)的仓库和插件市场,它和 Meta 的 Llama 模型只是名字相近,并不是同一个东西。本文先讲 Llama 模型本身怎么跑起来,LlamaIndex 在 RAG 部分再展开。

01.Llama 是什么

Llama 是 Meta 发布的一系列**开放权重(open weights)**大语言模型。"开放权重"的意思是可以下载模型参数在本地推理、微调,但它使用的是 Meta 自己的社区许可证,而不是 Apache/MIT 这类标准开源协议(后文"许可证"一节细说)。

1.1 模型家族概览

代际 大致时间 代表尺寸 要点
Llama 1 2023.02 7B / 13B / 33B / 65B 仅研究用途,开启了开源社区微调热潮(Alpaca、Vicuna 等)
Llama 2 2023.07 7B / 13B / 70B 提供 Chat 版本,许可证允许商用(有附加条款)
Llama 3 2024.04 8B / 70B 新分词器(词表约 128K),效果大幅提升
Llama 3.1 2024.07 8B / 70B / 405B 上下文扩展到 128K,支持工具调用
Llama 3.2 2024.09 1B / 3B(文本),11B / 90B(视觉) 小模型面向端侧,大模型支持图像输入
Llama 3.3 2024.12 70B 仅指令版,效果接近 3.1 405B
Llama 4 2025.04 Scout / Maverick 等 改为 MoE(混合专家)架构,原生多模态

具体参数、上下文长度以官方模型卡(Hugging Face 上 meta-llama 组织下的 Model Card)为准,新版本迭代很快,这里只列大方向。

1.2 Base 模型 vs Instruct 模型

  • Base(预训练)模型:只会"续写",适合继续预训练、做领域微调。
  • Instruct / Chat 模型:在 Base 上做了指令微调和对齐,能按对话模板回答问题,日常使用、做 RAG 都选 Instruct 版。
  • Instruct 模型对输入格式(chat template)有要求,自己拼 prompt 容易出错,尽量用框架提供的 apply_chat_template 或 Ollama 等工具自动处理。

02.用 Ollama 最快跑起来

Ollama 把模型下载、量化格式、推理服务打包成一个命令行工具,是本地体验 Llama 最省事的方式。

2.1 安装与运行

# macOS 可以直接下载安装包,或者用 brew
brew install ollama

# Linux 官方一键脚本
curl -fsSL https://ollama.com/install.sh | sh

# 启动服务(桌面版安装后会自动在后台运行)
ollama serve

# 拉取并进入交互对话
ollama run llama3.1:8b

# 常用管理命令
ollama pull llama3.2:3b   # 只下载不运行
ollama list               # 查看本地模型
ollama ps                 # 查看正在加载的模型
ollama rm llama3.2:3b     # 删除模型

Ollama 仓库里的模型默认就是量化后的版本(通常是 4bit 级别),8B 模型几个 GB,普通笔记本也能跑。

2.2 通过 HTTP API 调用

Ollama 默认监听 http://localhost:11434:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1:8b",
  "messages": [{"role": "user", "content": "用一句话介绍一下 Redis"}],
  "stream": false
}'

它还提供 OpenAI 兼容接口,已有的 OpenAI SDK 代码改一下 base_url 就能用:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")  # key 随便填
resp = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[{"role": "user", "content": "什么是 RAG?"}],
)
print(resp.choices[0].message.content)

2.3 Modelfile 自定义

cat > Modelfile <<'EOF'
FROM llama3.1:8b
PARAMETER temperature 0.3
PARAMETER num_ctx 8192
SYSTEM 你是一个只用中文回答的技术助手。
EOF

ollama create my-llama -f Modelfile
ollama run my-llama

坑:Ollama 默认上下文窗口(num_ctx)比模型支持的最大值小得多,做 RAG 塞长文档时要显式调大,否则前面的内容会被截断,表现为"模型没看到资料"。

03.用 llama.cpp 跑 GGUF 模型

llama.cpp 是用 C/C++ 实现的推理引擎,Ollama 底层也基于它。直接用 llama.cpp 可以更细地控制量化方式和推理参数。

3.1 编译

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

# CPU / Apple Silicon(macOS 上默认启用 Metal)
cmake -B build
cmake --build build --config Release -j

# NVIDIA 显卡需开启 CUDA
# cmake -B build -DGGML_CUDA=ON

编译完成后 build/bin/ 下有 llama-cli、llama-server、llama-quantize 等可执行文件。

3.2 GGUF 与量化

GGUF 是 llama.cpp 使用的模型文件格式,把权重、分词器、元数据打包进单个文件。量化就是把 16bit 浮点权重压缩到 8bit、4bit 甚至更低,用少量精度换显存和速度。

常见量化类型(名字中的数字大致代表每个权重的位数):

类型 说明
F16 / BF16 不量化,体积最大,作为转换中间格式
Q8_0 8bit,几乎无损,体积约为 F16 的一半
Q5_K_M 5bit 级别,质量和体积较均衡
Q4_K_M 4bit 级别,最常用的折中选择
Q2_K / Q3_K_* 体积很小,但质量下降明显

把 Hugging Face 模型转换并量化:

pip install -r requirements.txt

# 1. HF safetensors -> GGUF (F16)
python convert_hf_to_gguf.py /path/to/Llama-3.1-8B-Instruct \
    --outfile llama-3.1-8b-f16.gguf --outtype f16

# 2. 量化为 Q4_K_M
./build/bin/llama-quantize llama-3.1-8b-f16.gguf llama-3.1-8b-Q4_K_M.gguf Q4_K_M

实际上 Hugging Face 上已经有大量社区转换好的 GGUF 文件,直接下载即可,不一定要自己转。

3.3 运行

# 命令行对话
./build/bin/llama-cli -m llama-3.1-8b-Q4_K_M.gguf -c 8192 -ngl 99

# 启动 HTTP 服务(同样提供 OpenAI 兼容的 /v1/chat/completions)
./build/bin/llama-server -m llama-3.1-8b-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080
  • -c:上下文长度
  • -ngl:放到 GPU 上的层数,设一个很大的值表示尽量全部放 GPU;显存不够时调小,剩余层走 CPU

04.用 Hugging Face transformers

适合需要在 Python 中做实验、微调或者接入训练流程的场景。

4.1 获取权重

Meta 的官方仓库是 gated(需申请) 的:在 Hugging Face 模型页面同意许可证,审核通过后用 token 登录:

pip install -U transformers accelerate torch
huggingface-cli login   # 粘贴 HF access token

4.2 最小推理示例

import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.1-8B-Instruct"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",       # 自动分配到 GPU / CPU
)

messages = [
    {"role": "system", "content": "你是一个简洁的中文助手。"},
    {"role": "user", "content": "解释一下什么是向量数据库。"},
]

out = pipe(messages, max_new_tokens=256)
print(out[0]["generated_text"][-1]["content"])

传入 messages 列表时,pipeline 会自动调用模型自带的 chat template,不用手写 <|start_header_id|> 之类的特殊 token。

4.3 低显存加载(4bit)

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16)
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb, device_map="auto")

bitsandbytes 主要支持 NVIDIA CUDA;Mac 上更推荐 Ollama / llama.cpp,或 Apple 的 MLX 生态。

05.硬件怎么估算

一个粗略的经验公式(仅估算,实际还要看框架实现和上下文长度):

权重占用 ≈ 参数量 × 每个参数的字节数
模型 FP16/BF16(2 字节) 8bit(约 1 字节) 4bit(约 0.5 字节)
8B ≈ 16 GB ≈ 8 GB ≈ 4~5 GB
70B ≈ 140 GB ≈ 70 GB ≈ 35~40 GB

在此基础上还要留出:

  • KV Cache:随上下文长度和并发数线性增长,长上下文时可能比想象中大得多;
  • 运行时与激活值的额外开销。

一些实践建议:

  • 只有 CPU:选 1B~8B 的 4bit 模型,能跑但速度有限;
  • Apple Silicon:统一内存可以被 GPU 使用,内存越大能跑的模型越大;
  • 消费级 NVIDIA 显卡:8B 模型 4bit/8bit 比较舒服,70B 需要多卡或大量 CPU offload;
  • 生产环境高并发:考虑 vLLM 等推理服务框架,而不是 Ollama。

06.许可证注意事项

Llama 使用的是 Meta 的社区许可证(如 Llama 2 Community License、Llama 3.x Community License),不是 OSI 认可的开源协议,使用前要读原文,几个常被提到的点:

  • 允许商用,但月活用户超过 7 亿的产品需要另外向 Meta 申请授权;
  • 需要遵守配套的可接受使用政策(Acceptable Use Policy);
  • Llama 3 系列对衍生模型的命名、署名有要求(例如在名称中体现 “Llama”、注明 “Built with Llama”);
  • 不同版本条款并不完全相同(例如部分多模态版本曾对特定地区有限制),以对应版本的 LICENSE 文件为准。

07.常见问题

  • 模型回答胡言乱语 / 不停输出:多半是 chat template 不对或用了 Base 模型,换 Instruct 版并用框架自带模板。
  • 中文效果一般:Llama 训练语料以英文为主,中文场景可以对比一下中文能力更强的开源模型,或做中文微调。
  • 下载太慢:可以使用 Hugging Face 镜像站或者先下载 GGUF 文件。
  • Ollama 和 llama.cpp 怎么选:只想用 → Ollama;要精细控制量化、参数、部署 → llama.cpp;要训练微调 → transformers。

小结

  • Llama 是 Meta 的开放权重模型家族,日常使用选 Instruct 版本;
  • 本地体验首选 Ollama,需要定制选 llama.cpp + GGUF,做实验/微调选 transformers;
  • 量化(Q4_K_M、Q8_0 等)是在消费级硬件上跑大模型的关键,显存估算记住"参数量 × 字节数 + KV Cache";
  • 商用前一定要看清对应版本的许可证条款。