/02-llm-core/llama-cpp/RM-240924.md

Llama.cpp 内容补丁 （240924）

TODO: 更新中

由于llama.cpp经过版本变动，之前视频中提到的内容很多不再适用，因此再出一起更新视频。

0. 下载模型

安装用于测试的模型

export HF_ENDPOINT=https://hf-mirror.com

pip install huggingface_hub

# safetensors 
huggingface-cli download Qwen/Qwen2.5-1.5B-Instruct --local-dir /root/autodl-fs/Qwen2.5-1.5B-Instruct

# gguf
# huggingface-cli 不能下载单独的一个文件
wget https://hf-mirror.com/Qwen/Qwen2.5-1.5B-Instruct-GGUF/resolve/main/qwen2.5-1.5b-instruct-q4_k_m.gguf

1.安装与编译

从本地安装

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 启动gpu
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

注意：在docker系统中，再安装docker会一些问题。