Merge remote-tracking branch 'origin/dev_1.0.0' into dev_1.0.0
# Conflicts: # src/main/java/com/supervision/police/service/impl/ModelCaseServiceImpl.javatopo_dev
DESKTOP-DDTUS3E\yaxin
10 months ago
commit
c45b374f7a
@ -0,0 +1,30 @@
|
|||||||
|
|
||||||
|
# mysql相关配置内容
|
||||||
|
MYSQL_PASSWORD=12345678
|
||||||
|
MYSQL_PORT=5415
|
||||||
|
|
||||||
|
# minio相关配置内容
|
||||||
|
MINIO_CONSOLE_PORT=9001
|
||||||
|
MINIO_PORT=9000
|
||||||
|
MINIO_USER=admin
|
||||||
|
MINIO_PASSWORD=12345678
|
||||||
|
|
||||||
|
# neo4j相关配置内容
|
||||||
|
NEO4J_PORT_HTTP=7474
|
||||||
|
NEO4J_PORT_BOLT=7687
|
||||||
|
NEO4J_USERNAME=neo4j
|
||||||
|
NEO4J_PASSWORD=123456
|
||||||
|
|
||||||
|
# 伏羲后台服务相关配置内容
|
||||||
|
WEB_HTTP_PORT=9380
|
||||||
|
SPRING_PROFILES_ACTIVE=bridge
|
||||||
|
OLLAMA_URL=http://192.168.10.70:11434
|
||||||
|
OLLAMA_MODEL=llama3-chinese:8b
|
||||||
|
LANGCHAIN_CHAT_URL=http://113.128.242.110:7861
|
||||||
|
|
||||||
|
|
||||||
|
# nginx相关配置内容
|
||||||
|
NGINX_HTTP_PORT=80
|
||||||
|
FU_HSI_SERVERS=fu-hsi-web:8097
|
||||||
|
|
||||||
|
TIMEZONE='Asia/Shanghai'
|
||||||
@ -0,0 +1,77 @@
|
|||||||
|
services:
|
||||||
|
mysql:
|
||||||
|
image: mysql:5.7
|
||||||
|
container_name: fu-hsi-mysql
|
||||||
|
environment:
|
||||||
|
- MYSQL_ROOT_PASSWORD=${MYSQL_PASSWORD}
|
||||||
|
- TZ=${TIMEZONE}
|
||||||
|
command:
|
||||||
|
--max_connections=100
|
||||||
|
--character-set-server=utf8mb4
|
||||||
|
--collation-server=utf8mb4_general_ci
|
||||||
|
--default-authentication-plugin=mysql_native_password
|
||||||
|
--tls_version="TLSv1.2,TLSv1.3"
|
||||||
|
ports:
|
||||||
|
- ${MYSQL_PORT}:3306
|
||||||
|
volumes:
|
||||||
|
- ./mysql/data:/var/lib/mysql
|
||||||
|
- ./init.sql:/docker-entrypoint-initdb.d/init.sql
|
||||||
|
networks:
|
||||||
|
- fu-hsi
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "mysqladmin" ,"ping", "-uroot", "-p${MYSQL_PASSWORD}"]
|
||||||
|
interval: 10s
|
||||||
|
timeout: 10s
|
||||||
|
retries: 3
|
||||||
|
start_period: 40s
|
||||||
|
restart: always
|
||||||
|
|
||||||
|
minio:
|
||||||
|
image: quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z
|
||||||
|
container_name: fu-hsi-minio
|
||||||
|
command: server --console-address ":9001" /data
|
||||||
|
ports:
|
||||||
|
- ${MINIO_PORT}:9000
|
||||||
|
- ${MINIO_CONSOLE_PORT}:9001
|
||||||
|
environment:
|
||||||
|
- MINIO_ROOT_USER=${MINIO_USER}
|
||||||
|
- MINIO_ROOT_PASSWORD=${MINIO_PASSWORD}
|
||||||
|
- TZ=${TIMEZONE}
|
||||||
|
volumes:
|
||||||
|
- ./minio/data:/data
|
||||||
|
networks:
|
||||||
|
- fu-hsi
|
||||||
|
# healthcheck:
|
||||||
|
# test: ["CMD","curl -fs http://localhost/ || exit 1"]
|
||||||
|
# interval: 30s
|
||||||
|
# timeout: 10s
|
||||||
|
# retries: 3
|
||||||
|
# start_period: 20s
|
||||||
|
restart: always
|
||||||
|
|
||||||
|
neo4j:
|
||||||
|
image: neo4j:4.4
|
||||||
|
container_name: fu-hsi-neo4j
|
||||||
|
ports:
|
||||||
|
- ${NEO4J_PORT_HTTP}:7474
|
||||||
|
- ${NEO4J_PORT_BOLT}:7687
|
||||||
|
environment:
|
||||||
|
- NEO4J_AUTH=${NEO4J_USERNAME}/${NEO4J_PASSWORD}
|
||||||
|
volumes:
|
||||||
|
- ./neo4j/data:/data
|
||||||
|
- ./neo4j/logs:/logs
|
||||||
|
- ./neo4j/import:/var/lib/neo4j/import
|
||||||
|
- ./neo4j/plugins:/var/lib/neo4j/plugins
|
||||||
|
networks:
|
||||||
|
- fu-hsi
|
||||||
|
# healthcheck:
|
||||||
|
# test: ["CMD", "curl", "-sS", "http://localhost:7474"]
|
||||||
|
# interval: 30s
|
||||||
|
# timeout: 10s
|
||||||
|
# retries: 5
|
||||||
|
# start_period: 40s
|
||||||
|
# restart: always
|
||||||
|
|
||||||
|
networks:
|
||||||
|
fu-hsi:
|
||||||
|
driver: bridge
|
||||||
@ -0,0 +1,49 @@
|
|||||||
|
include:
|
||||||
|
- path: ./docker-compose-base.yml
|
||||||
|
env_file: ./.env
|
||||||
|
|
||||||
|
services:
|
||||||
|
fu-hsi-web:
|
||||||
|
depends_on:
|
||||||
|
mysql:
|
||||||
|
condition: service_started
|
||||||
|
neo4j:
|
||||||
|
condition: service_started
|
||||||
|
minio:
|
||||||
|
condition: service_started
|
||||||
|
image: fu-hsi-web:1.0.0
|
||||||
|
container_name: fu-hsi-web
|
||||||
|
ports:
|
||||||
|
- ${WEB_HTTP_PORT}:8097
|
||||||
|
volumes:
|
||||||
|
- ./fu-hsi-web/:/data/fu-hsi/web/
|
||||||
|
environment:
|
||||||
|
- TZ=${TIMEZONE}
|
||||||
|
- spring.profiles.active=${SPRING_PROFILES_ACTIVE}
|
||||||
|
- ollama.url=${OLLAMA_URL}
|
||||||
|
- ollama.model=${OLLAMA_MODEL}
|
||||||
|
- langChain-chat.url=${LANGCHAIN_CHAT_URL}
|
||||||
|
- datasource.username=${MYSQL_PASSWORD}
|
||||||
|
- neo4j.username=${NEO4J_USERNAME}
|
||||||
|
- neo4j.password=${NEO4J_PASSWORD}
|
||||||
|
- minio.username=${MINIO_USER}
|
||||||
|
- minio.password=${MINIO_PASSWORD}
|
||||||
|
networks:
|
||||||
|
- fu-hsi
|
||||||
|
restart: always
|
||||||
|
fu-hsi-nginx:
|
||||||
|
depends_on:
|
||||||
|
fu-hsi-web:
|
||||||
|
condition: service_started
|
||||||
|
image: fu-hsi-nginx:1.0.0
|
||||||
|
container_name: fu-hsi-nginx
|
||||||
|
ports:
|
||||||
|
- ${NGINX_HTTP_PORT}:80
|
||||||
|
volumes:
|
||||||
|
- ./fu-hsi-nginx/html/:/usr/share/nginx/html/
|
||||||
|
environment:
|
||||||
|
- TZ=${TIMEZONE}
|
||||||
|
- FU_HSI_SERVERS=${FU_HSI_SERVERS}
|
||||||
|
networks:
|
||||||
|
- fu-hsi
|
||||||
|
restart: always
|
||||||
@ -0,0 +1,44 @@
|
|||||||
|
# 文件目录说明
|
||||||
|
- /data/ollama : 本项目根目录,本项目所有目录都在这个路径下面
|
||||||
|
|
||||||
|
# 前置条件
|
||||||
|
- 本机安装了Docker
|
||||||
|
- 安装了Nvidia GPU驱动
|
||||||
|
- 安装了容器工具包nvidia-container-toolkit
|
||||||
|
|
||||||
|
# 下载gguf模型:
|
||||||
|
- 网址: https://hf-mirror.com/
|
||||||
|
- 搜要下载的模型,比如,想现在llama3 8b的模型,则搜索: llama3 8b gguf
|
||||||
|
- 找到gguf字样的进去,下载,下载建议下载k4_0级别的,效果和效率最优,注意下载文件格式一定是.gguf的才行
|
||||||
|
|
||||||
|
# Modelfile文件
|
||||||
|
- 创建文件:touch Modlefile
|
||||||
|
- 编辑Modlefile,修改并粘贴以下内容
|
||||||
|
|
||||||
|
~~~
|
||||||
|
FROM ./这里替换成需要部署的模型名称.gguf
|
||||||
|
|
||||||
|
TEMPLATE """
|
||||||
|
{{ if .System }}<|start_header_id|>system<|end_header_id|>\n\n{{ .System }}<|eot_id|>{{ end }}
|
||||||
|
{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>\n\n{{ .Prompt }}<|eot_id|>{{ end }}
|
||||||
|
<|start_header_id|>assistant<|end_header_id|>\n\n{{ .Response }}<|eot_id|>
|
||||||
|
"""
|
||||||
|
~~~
|
||||||
|
|
||||||
|
# 使用Docker构建步骤
|
||||||
|
|
||||||
|
- 首先安装容器工具包(必须,如果已安装可以不安装)
|
||||||
|
1. 首先配置源:curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
|
||||||
|
2. 安装: sudo yum install -y nvidia-container-toolkit
|
||||||
|
3. 配置docker: sudo nvidia-ctk runtime configure --runtime=docker
|
||||||
|
4. 重启docker: systemctl restart docker
|
||||||
|
- 构建步骤
|
||||||
|
1. 加载ollama的镜像,镜像版本0.2.8
|
||||||
|
- 本地加载: docker load -i ollama.tar.gz
|
||||||
|
2. 运行容器: sudo docker run -d --gpus=all -e NVIDIA_VISIBLE_DEVICES=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
|
||||||
|
3. 将模型文件复制本地目录/data/ollama/gguf下
|
||||||
|
4. 在/data/ollama/gguf目录下创建Modlefile文件,并将FROM的模型的名称修改为对应的.gguf文件名称
|
||||||
|
5. 进入容器: docker exec -it ollama bash
|
||||||
|
6. 进入目录: cd /root/.ollama/gguf
|
||||||
|
7. 执行命令ollama create llama3-chinese:8b -f Modelfile (将 llama3-chinese:8b修改成你想要命名的名称)
|
||||||
|
|
||||||
Binary file not shown.
Loading…
Reference in New Issue