# 直播数字人 (Live Digital Avatar) 启动说明

## 项目简介

**项目名称：**
- 中文：直播数字人
- 英文：live-digital-avatar

**项目描述：** 实时交互流式数字人系统，实现音视频同步对话，可达到商用效果。支持多种数字人模型，包括wav2lip、musetalk、Ultralight-Digital-Human等。

## 系统要求

### 硬件要求
- **GPU**: NVIDIA显卡，推荐RTX 3060及以上
  - wav2lip256模型：RTX 3060及以上
  - musetalk模型：RTX 3080Ti及以上
- **CPU**: 多核处理器，用于视频压缩处理
- **内存**: 建议16GB以上
- **存储**: 至少10GB可用空间

### 软件要求
- **操作系统**: Ubuntu 24.04 (推荐) / Windows 10/11
- **Python**: 3.10
- **CUDA**: 12.4 (根据显卡驱动版本调整)
- **PyTorch**: 2.5.0

## 安装步骤

### 1. 环境准备

#### 创建Python虚拟环境
```bash
# 创建conda环境
conda create -n livetalking python=3.10
conda activate livetalking
```

#### 安装PyTorch
```bash
# 安装PyTorch (根据您的CUDA版本调整)
# CUDA 12.4
conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.4 -c pytorch -c nvidia

# 如果CUDA版本不同，请访问 https://pytorch.org/get-started/previous-versions/ 选择对应版本
```

#### 安装项目依赖
```bash
# 安装项目依赖包
pip install -r requirements.txt
```

### 2. 模型下载

#### 下载预训练模型
项目需要下载预训练模型文件，您可以从以下地址下载：

**夸克云盘**: https://pan.quark.cn/s/83a750323ef0  
**Google Drive**: https://drive.google.com/drive/folders/1FOC_MD6wdogyyX_7V1d4NDIO7P9NlSAJ?usp=sharing

#### 模型文件放置
下载完成后，请按以下步骤放置模型文件：

1. 将 `wav2lip256.pth` 复制到项目的 `models/` 目录下，并重命名为 `wav2lip.pth`
2. 将 `wav2lip256_avatar1.tar.gz` 解压后，将整个文件夹复制到项目的 `data/avatars/` 目录下

### 3. 网络配置

**重要**: 服务端需要开放以下端口：
- **TCP端口**: 8010 (Web服务)
- **UDP端口**: 1-65536 (WebRTC通信)

## 启动数字人

### 基本启动命令

```bash
# 激活环境
conda activate livetalking

# 启动数字人服务
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1
```

### 启动参数说明

- `--transport webrtc`: 使用WebRTC传输协议
- `--model wav2lip`: 使用wav2lip模型
- `--avatar_id wav2lip256_avatar1`: 指定数字人形象ID

### 其他启动选项

```bash
# 使用musetalk模型
python app.py --transport webrtc --model musetalk --avatar_id your_avatar_id

# 使用Ultralight模型
python app.py --transport webrtc --model ultralight --avatar_id your_avatar_id

# 指定端口
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1 --port 8010
```

## 客户端访问

### 方式一：浏览器访问
1. 在浏览器中打开: `http://服务器IP:8010/webrtcapi.html`
2. 点击 'start' 按钮开始播放数字人视频
3. 在文本框中输入任意文字并提交，数字人将播报该段文字

### 方式二：客户端软件
- 下载地址: https://pan.quark.cn/s/d7192d8ac19b
- 安装客户端软件进行连接

## 快速体验

如果您想快速体验，可以使用以下云服务镜像：

**UCloud镜像**: https://www.compshare.cn/images/4458094e-a43d-45fe-9b57-de79253befe4?referral_code=3XW3852OBmnD089hMMrtuU&ytag=GPU_GitHub_livetalking

使用该镜像创建实例即可直接运行成功。

## Docker运行

如果您不想手动安装环境，可以直接使用Docker运行：

```bash
docker run --gpus all -it --network=host --rm registry.cn-beijing.aliyuncs.com/codewithgpu2/lipku-metahuman-stream:2K9qaMBu8v
```

代码位于 `/root/metahuman-stream`，先执行 `git pull` 拉取最新代码，然后按照上述步骤启动。

## 性能参考

| 模型 | 显卡型号 | FPS |
|------|----------|-----|
| wav2lip256 | RTX 3060 | 60 |
| musetalk | RTX 3080Ti | 45 |
| wav2lip256 | RTX 3080Ti | 120 |

**性能说明：**
- 不说话时的并发数取决于CPU性能
- 同时说话的并发数取决于GPU性能
- 后端日志中 `inferfps` 表示显卡推理帧率，`finalfps` 表示最终推流帧率
- 两者都要在25以上才能实现实时效果

## 常见问题

### 1. 访问HuggingFace问题
如果访问不了huggingface，在运行前设置：
```bash
export HF_ENDPOINT=https://hf-mirror.com
```

### 2. 视频连接问题
如果遇到视频连接问题，请参考：https://mp.weixin.qq.com/s/MVUkxxhV2cgMMHalphr2cg

### 3. 安装问题
详细安装FAQ请参考：https://livetalking-doc.readthedocs.io/zh-cn/latest/faq.html

## 技术支持

- **知识星球**: https://t.zsxq.com/7NMyO
- **微信公众号**: 数字人技术
- **项目地址**: https://github.com/lipku/LiveTalking
- **国内镜像**: https://gitee.com/lipku/LiveTalking

## 声明

基于本项目开发并发布在B站、视频号、抖音等网站上的视频需带上LiveTalking水印和标识，如需去除请联系作者备案授权。

---

如果本项目对您有帮助，欢迎给项目点个star，也欢迎感兴趣的朋友一起来完善该项目。