注意:上面两个链接是 LlamaIndex(一个 RAG / 数据接入框架)的仓库和插件市场,它和 Meta 的 Llama 模型只是名字相近,并不是同一个东西。本文先讲 Llama 模型本身怎么跑起来,LlamaIndex 在 RAG 部分再展开。
01.Llama 是什么
Llama 是 Meta 发布的一系列**开放权重(open weights)**大语言模型。"开放权重"的意思是可以下载模型参数在本地推理、微调,但它使用的是 Meta 自己的社区许可证,而不是 Apache/MIT 这类标准开源协议(后文"许可证"一节细说)。
1.1 模型家族概览
| 代际 | 大致时间 | 代表尺寸 | 要点 |
|---|---|---|---|
| Llama 1 | 2023.02 | 7B / 13B / 33B / 65B | 仅研究用途,开启了开源社区微调热潮(Alpaca、Vicuna 等) |
| Llama 2 | 2023.07 | 7B / 13B / 70B | 提供 Chat 版本,许可证允许商用(有附加条款) |
| Llama 3 | 2024.04 | 8B / 70B | 新分词器(词表约 128K),效果大幅提升 |
| Llama 3.1 | 2024.07 | 8B / 70B / 405B | 上下文扩展到 128K,支持工具调用 |
| Llama 3.2 | 2024.09 | 1B / 3B(文本),11B / 90B(视觉) | 小模型面向端侧,大模型支持图像输入 |
| Llama 3.3 | 2024.12 | 70B | 仅指令版,效果接近 3.1 405B |
| Llama 4 | 2025.04 | Scout / Maverick 等 | 改为 MoE(混合专家)架构,原生多模态 |
具体参数、上下文长度以官方模型卡(Hugging Face 上
meta-llama组织下的 Model Card)为准,新版本迭代很快,这里只列大方向。
1.2 Base 模型 vs Instruct 模型
- Base(预训练)模型:只会"续写",适合继续预训练、做领域微调。
- Instruct / Chat 模型:在 Base 上做了指令微调和对齐,能按对话模板回答问题,日常使用、做 RAG 都选 Instruct 版。
- Instruct 模型对输入格式(chat template)有要求,自己拼 prompt 容易出错,尽量用框架提供的
apply_chat_template或 Ollama 等工具自动处理。
02.用 Ollama 最快跑起来
Ollama 把模型下载、量化格式、推理服务打包成一个命令行工具,是本地体验 Llama 最省事的方式。
2.1 安装与运行
# macOS 可以直接下载安装包,或者用 brew
brew install ollama
# Linux 官方一键脚本
curl -fsSL https://ollama.com/install.sh | sh
# 启动服务(桌面版安装后会自动在后台运行)
ollama serve
# 拉取并进入交互对话
ollama run llama3.1:8b
# 常用管理命令
ollama pull llama3.2:3b # 只下载不运行
ollama list # 查看本地模型
ollama ps # 查看正在加载的模型
ollama rm llama3.2:3b # 删除模型
Ollama 仓库里的模型默认就是量化后的版本(通常是 4bit 级别),8B 模型几个 GB,普通笔记本也能跑。
2.2 通过 HTTP API 调用
Ollama 默认监听 http://localhost:11434:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.1:8b",
"messages": [{"role": "user", "content": "用一句话介绍一下 Redis"}],
"stream": false
}'
它还提供 OpenAI 兼容接口,已有的 OpenAI SDK 代码改一下 base_url 就能用:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama") # key 随便填
resp = client.chat.completions.create(
model="llama3.1:8b",
messages=[{"role": "user", "content": "什么是 RAG?"}],
)
print(resp.choices[0].message.content)
2.3 Modelfile 自定义
cat > Modelfile <<'EOF'
FROM llama3.1:8b
PARAMETER temperature 0.3
PARAMETER num_ctx 8192
SYSTEM 你是一个只用中文回答的技术助手。
EOF
ollama create my-llama -f Modelfile
ollama run my-llama
坑:Ollama 默认上下文窗口(
num_ctx)比模型支持的最大值小得多,做 RAG 塞长文档时要显式调大,否则前面的内容会被截断,表现为"模型没看到资料"。
03.用 llama.cpp 跑 GGUF 模型
llama.cpp 是用 C/C++ 实现的推理引擎,Ollama 底层也基于它。直接用 llama.cpp 可以更细地控制量化方式和推理参数。
3.1 编译
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
# CPU / Apple Silicon(macOS 上默认启用 Metal)
cmake -B build
cmake --build build --config Release -j
# NVIDIA 显卡需开启 CUDA
# cmake -B build -DGGML_CUDA=ON
编译完成后 build/bin/ 下有 llama-cli、llama-server、llama-quantize 等可执行文件。
3.2 GGUF 与量化
GGUF 是 llama.cpp 使用的模型文件格式,把权重、分词器、元数据打包进单个文件。量化就是把 16bit 浮点权重压缩到 8bit、4bit 甚至更低,用少量精度换显存和速度。
常见量化类型(名字中的数字大致代表每个权重的位数):
| 类型 | 说明 |
|---|---|
F16 / BF16 |
不量化,体积最大,作为转换中间格式 |
Q8_0 |
8bit,几乎无损,体积约为 F16 的一半 |
Q5_K_M |
5bit 级别,质量和体积较均衡 |
Q4_K_M |
4bit 级别,最常用的折中选择 |
Q2_K / Q3_K_* |
体积很小,但质量下降明显 |
把 Hugging Face 模型转换并量化:
pip install -r requirements.txt
# 1. HF safetensors -> GGUF (F16)
python convert_hf_to_gguf.py /path/to/Llama-3.1-8B-Instruct \
--outfile llama-3.1-8b-f16.gguf --outtype f16
# 2. 量化为 Q4_K_M
./build/bin/llama-quantize llama-3.1-8b-f16.gguf llama-3.1-8b-Q4_K_M.gguf Q4_K_M
实际上 Hugging Face 上已经有大量社区转换好的 GGUF 文件,直接下载即可,不一定要自己转。
3.3 运行
# 命令行对话
./build/bin/llama-cli -m llama-3.1-8b-Q4_K_M.gguf -c 8192 -ngl 99
# 启动 HTTP 服务(同样提供 OpenAI 兼容的 /v1/chat/completions)
./build/bin/llama-server -m llama-3.1-8b-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080
-c:上下文长度-ngl:放到 GPU 上的层数,设一个很大的值表示尽量全部放 GPU;显存不够时调小,剩余层走 CPU
04.用 Hugging Face transformers
适合需要在 Python 中做实验、微调或者接入训练流程的场景。
4.1 获取权重
Meta 的官方仓库是 gated(需申请) 的:在 Hugging Face 模型页面同意许可证,审核通过后用 token 登录:
pip install -U transformers accelerate torch
huggingface-cli login # 粘贴 HF access token
4.2 最小推理示例
import torch
from transformers import pipeline
model_id = "meta-llama/Llama-3.1-8B-Instruct"
pipe = pipeline(
"text-generation",
model=model_id,
torch_dtype=torch.bfloat16,
device_map="auto", # 自动分配到 GPU / CPU
)
messages = [
{"role": "system", "content": "你是一个简洁的中文助手。"},
{"role": "user", "content": "解释一下什么是向量数据库。"},
]
out = pipe(messages, max_new_tokens=256)
print(out[0]["generated_text"][-1]["content"])
传入 messages 列表时,pipeline 会自动调用模型自带的 chat template,不用手写 <|start_header_id|> 之类的特殊 token。
4.3 低显存加载(4bit)
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16)
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb, device_map="auto")
bitsandbytes主要支持 NVIDIA CUDA;Mac 上更推荐 Ollama / llama.cpp,或 Apple 的 MLX 生态。
05.硬件怎么估算
一个粗略的经验公式(仅估算,实际还要看框架实现和上下文长度):
权重占用 ≈ 参数量 × 每个参数的字节数
| 模型 | FP16/BF16(2 字节) | 8bit(约 1 字节) | 4bit(约 0.5 字节) |
|---|---|---|---|
| 8B | ≈ 16 GB | ≈ 8 GB | ≈ 4~5 GB |
| 70B | ≈ 140 GB | ≈ 70 GB | ≈ 35~40 GB |
在此基础上还要留出:
- KV Cache:随上下文长度和并发数线性增长,长上下文时可能比想象中大得多;
- 运行时与激活值的额外开销。
一些实践建议:
- 只有 CPU:选 1B~8B 的 4bit 模型,能跑但速度有限;
- Apple Silicon:统一内存可以被 GPU 使用,内存越大能跑的模型越大;
- 消费级 NVIDIA 显卡:8B 模型 4bit/8bit 比较舒服,70B 需要多卡或大量 CPU offload;
- 生产环境高并发:考虑 vLLM 等推理服务框架,而不是 Ollama。
06.许可证注意事项
Llama 使用的是 Meta 的社区许可证(如 Llama 2 Community License、Llama 3.x Community License),不是 OSI 认可的开源协议,使用前要读原文,几个常被提到的点:
- 允许商用,但月活用户超过 7 亿的产品需要另外向 Meta 申请授权;
- 需要遵守配套的可接受使用政策(Acceptable Use Policy);
- Llama 3 系列对衍生模型的命名、署名有要求(例如在名称中体现 “Llama”、注明 “Built with Llama”);
- 不同版本条款并不完全相同(例如部分多模态版本曾对特定地区有限制),以对应版本的 LICENSE 文件为准。
07.常见问题
- 模型回答胡言乱语 / 不停输出:多半是 chat template 不对或用了 Base 模型,换 Instruct 版并用框架自带模板。
- 中文效果一般:Llama 训练语料以英文为主,中文场景可以对比一下中文能力更强的开源模型,或做中文微调。
- 下载太慢:可以使用 Hugging Face 镜像站或者先下载 GGUF 文件。
- Ollama 和 llama.cpp 怎么选:只想用 → Ollama;要精细控制量化、参数、部署 → llama.cpp;要训练微调 → transformers。
小结
- Llama 是 Meta 的开放权重模型家族,日常使用选 Instruct 版本;
- 本地体验首选 Ollama,需要定制选 llama.cpp + GGUF,做实验/微调选 transformers;
- 量化(Q4_K_M、Q8_0 等)是在消费级硬件上跑大模型的关键,显存估算记住"参数量 × 字节数 + KV Cache";
- 商用前一定要看清对应版本的许可证条款。