首先在下列链接下载模型文件

FP16模型（推荐运行内存：24GB）

int8量化模型（推荐运行内存：16GB）

int4量化模型（推荐运行内存：12GB）

int2量化模型（推荐运行内存：8GB）

然后打开你的终端，运行以下命令

sudo apt install git cmake ccache #安装编译依赖
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp #克隆远程仓库
cmake -B build
cmake --build build --config Release -j #开始编译
cd build/bin #进入编译结果文件夹

然后打开你的文件管理器，把前面下载下来的模型文件重命名为glm，并复制到主目录的llama.cpp/build/bin文件夹里面。

再次执行下列命令

./llama-server -m ./glm.gguf --port 8080

在浏览器中访问 http://localhost:8080/index-new.html

鼠标滑到底部，开始对话吧！

完美！