|
|
@ -1,6 +1,11 @@
|
|
|
|
# 文件目录说明
|
|
|
|
# 文件目录说明
|
|
|
|
- /data/ollama : 本项目根目录,本项目所有目录都在这个路径下面
|
|
|
|
- /data/ollama : 本项目根目录,本项目所有目录都在这个路径下面
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
# 前置条件
|
|
|
|
|
|
|
|
- 本机安装了Docker
|
|
|
|
|
|
|
|
- 安装了Nvidia GPU驱动
|
|
|
|
|
|
|
|
- 安装了容器工具包nvidia-container-toolkit
|
|
|
|
|
|
|
|
|
|
|
|
# 下载gguf模型:
|
|
|
|
# 下载gguf模型:
|
|
|
|
- 网址: https://hf-mirror.com/
|
|
|
|
- 网址: https://hf-mirror.com/
|
|
|
|
- 搜要下载的模型,比如,想现在llama3 8b的模型,则搜索: llama3 8b gguf
|
|
|
|
- 搜要下载的模型,比如,想现在llama3 8b的模型,则搜索: llama3 8b gguf
|
|
|
|