LLaMa3大模型转换与Ollama部署指南.pdfVIP

LLaMa3打包部署（大模型转换为GGUF以及

使用ollama运行）

1.将hf模型转换为GGUF

1.1需要用llama.cpp仓库的convert_hf_to_gguf.py脚本来转换

gitclone/ggerganov/llama.cpp.git

pipinstall-rllama.cpp/requirements.txt

1.2执行转换

#如果不量化，保留模型的效果

pythonllama.cpp/convert_hf_to_gguf.py./Meta-Llama-3-8B-Instruct

--outtypef16

--verbose--outfileMeta-Llama-3-8B-Instruct-gguf.gguf

#如果需要量化（加速并有损效果），直接执行下面脚本就可