提交部署文档

docker/ollama/README.md

@@ -28,9 +28,8 @@
     3. 配置docker: sudo nvidia-ctk runtime configure --runtime=docker
     4. 重启docker: systemctl restart docker
 - 构建步骤
-  1. 拉取ollama的镜像
-     - 在线拉取: docker pull ollama/ollama:0.3.5
-     - 本地加载: docker load -i ollama-0.3.5.tar
+  1. 加载ollama的镜像,镜像版本0.2.8
+     - 本地加载: docker load -i ollama.tar.gz
   2. 运行容器: sudo docker run -d --gpus=all -e NVIDIA_VISIBLE_DEVICES=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
   3. 将模型文件复制本地目录/data/ollama/gguf下
   4. 在/data/ollama/gguf目录下创建Modlefile文件,并将FROM的模型的名称修改为对应的.gguf文件名称