Yaxin
/
live-digital-avatar-livetalking
28
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

README.md

Browse Source
main
fanpt 12 hours ago
parent 6f417b41a2
commit 49c0361f89
2 changed files with 286 additions and 112 deletions
Show Stats Download Patch File Download Diff File

264
README.md
Unescape Escape View File

@ -1,126 +1,174 @@
[English](./README-EN.md) | 中文版
实时交互流式数字人，实现音视频同步对话。基本可以达到商用效果
[wav2lip效果](https://www.bilibili.com/video/BV1scwBeyELA/) | [ernerf效果](https://www.bilibili.com/video/BV1G1421z73r/) | [musetalk效果](https://www.bilibili.com/video/BV1gm421N7vQ/)
国内镜像地址:<https://gitee.com/lipku/LiveTalking>
## 为避免与3d数字人混淆，原项目metahuman-stream改名为livetalking，原有链接地址继续可用
## News
- 2024.12.8 完善多并发，显存不随并发数增加
- 2024.12.21 添加wav2lip、musetalk模型预热，解决第一次推理卡顿问题。感谢[@heimaojinzhangyz](https://github.com/heimaojinzhangyz)
- 2024.12.28 添加数字人模型Ultralight-Digital-Human。 感谢[@lijihua2017](https://github.com/lijihua2017)
- 2025.2.7 添加fish-speech tts
- 2025.2.21 添加wav2lip256开源模型 感谢@不蠢不蠢
- 2025.3.2 添加腾讯语音合成服务
- 2025.3.16 支持mac gpu推理，感谢[@GcsSloop](https://github.com/GcsSloop)
- 2025.5.1 精简运行参数，ernerf模型移至git分支ernerf-rtmp
- 2025.6.7 添加虚拟摄像头输出
- 2025.7.5 添加豆包语音合成, 感谢[@ELK-milu](https://github.com/ELK-milu)
## Features
1. 支持多种数字人模型: ernerf、musetalk、wav2lip、Ultralight-Digital-Human
2. 支持声音克隆
3. 支持数字人说话被打断
4. 支持全身视频拼接
5. 支持webrtc、虚拟摄像头输出
6. 支持动作编排：不说话时播放自定义视频
7. 支持多并发
## 1. Installation
Tested on Ubuntu 24.04, Python3.10, Pytorch 2.5.0 and CUDA 12.4
### 1.1 Install dependency
# 直播数字人 (Live Digital Avatar) 启动说明
## 项目简介
**项目名称：**
- 中文：直播数字人
- 英文：live-digital-avatar
**项目描述：** 实时交互流式数字人系统，实现音视频同步对话，可达到商用效果。支持多种数字人模型，包括wav2lip、musetalk、Ultralight-Digital-Human等。
## 系统要求
### 硬件要求
- **GPU**: NVIDIA显卡，推荐RTX 3060及以上
- wav2lip256模型：RTX 3060及以上
- musetalk模型：RTX 3080Ti及以上
- **CPU**: 多核处理器，用于视频压缩处理
- **内存**: 建议16GB以上
- **存储**: 至少10GB可用空间
### 软件要求
- **操作系统**: Ubuntu 24.04 (推荐) / Windows 10/11
- **Python**: 3.10
- **CUDA**: 12.4 (根据显卡驱动版本调整)
- **PyTorch**: 2.5.0
## 安装步骤
### 1. 环境准备
#### 创建Python虚拟环境
```bash
conda create -n nerfstream python=3.10
conda activate nerfstream
#如果cuda版本不为12.4(运行nvidia-smi确认版本)，根据<https://pytorch.org/get-started/previous-versions/>安装对应版本的pytorch
# 创建conda环境
conda create -n livetalking python=3.10
conda activate livetalking
```
#### 安装PyTorch
```bash
# 安装PyTorch (根据您的CUDA版本调整)
# CUDA 12.4
conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.4 -c pytorch -c nvidia
# 如果CUDA版本不同，请访问 https://pytorch.org/get-started/previous-versions/ 选择对应版本
```
#### 安装项目依赖
```bash
# 安装项目依赖包
pip install -r requirements.txt
#如果需要训练ernerf模型，安装下面的库
# pip install "git+https://github.com/facebookresearch/pytorch3d.git"
# pip install tensorflow-gpu==2.8.0
# pip install --upgrade "protobuf<=3.20.1"
```
安装常见问题[FAQ](https://livetalking-doc.readthedocs.io/zh-cn/latest/faq.html)
linux cuda环境搭建可以参考这篇文章 <https://zhuanlan.zhihu.com/p/674972886>
视频连不上解决方法 <https://mp.weixin.qq.com/s/MVUkxxhV2cgMMHalphr2cg>
## 2. Quick Start
- 下载模型
夸克云盘<https://pan.quark.cn/s/83a750323ef0>
GoogleDriver <https://drive.google.com/drive/folders/1FOC_MD6wdogyyX_7V1d4NDIO7P9NlSAJ?usp=sharing>
将wav2lip256.pth拷到本项目的models下, 重命名为wav2lip.pth;
将wav2lip256_avatar1.tar.gz解压后整个文件夹拷到本项目的data/avatars下
- 运行
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1
<font color=red>服务端需要开放端口 tcp:8010; udp:1-65536 </font>
客户端可以选用以下两种方式:
(1)用浏览器打开http://serverip:8010/webrtcapi.html , 先点‘start',播放数字人视频；然后在文本框输入任意文字，提交。数字人播报该段文字
(2)用客户端方式, 下载地址<https://pan.quark.cn/s/d7192d8ac19b>
- 快速体验
<https://www.compshare.cn/images/4458094e-a43d-45fe-9b57-de79253befe4?referral_code=3XW3852OBmnD089hMMrtuU&ytag=GPU_GitHub_livetalking> 用该镜像创建实例即可运行成功
### 2. 模型下载
如果访问不了huggingface，在运行前
```
export HF_ENDPOINT=https://hf-mirror.com
#### 下载预训练模型
项目需要下载预训练模型文件，您可以从以下地址下载：
**夸克云盘**: https://pan.quark.cn/s/83a750323ef0
**Google Drive**: https://drive.google.com/drive/folders/1FOC_MD6wdogyyX_7V1d4NDIO7P9NlSAJ?usp=sharing
#### 模型文件放置
下载完成后，请按以下步骤放置模型文件：
1. 将 `wav2lip256.pth` 复制到项目的 `models/` 目录下，并重命名为 `wav2lip.pth`
2. 将 `wav2lip256_avatar1.tar.gz` 解压后，将整个文件夹复制到项目的 `data/avatars/` 目录下
### 3. 网络配置
**重要**: 服务端需要开放以下端口：
- **TCP端口**: 8010 (Web服务)
- **UDP端口**: 1-65536 (WebRTC通信)
## 启动数字人
### 基本启动命令
```bash
# 激活环境
conda activate livetalking
# 启动数字人服务
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1
```
### 启动参数说明
- `--transport webrtc`: 使用WebRTC传输协议
- `--model wav2lip`: 使用wav2lip模型
- `--avatar_id wav2lip256_avatar1`: 指定数字人形象ID
## 3. More Usage
使用说明: <https://livetalking-doc.readthedocs.io/>
### 其他启动选项
## 4. Docker Run
不需要前面的安装，直接运行。
```bash
# 使用musetalk模型
python app.py --transport webrtc --model musetalk --avatar_id your_avatar_id
# 使用Ultralight模型
python app.py --transport webrtc --model ultralight --avatar_id your_avatar_id
# 指定端口
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1 --port 8010
```
## 客户端访问
### 方式一：浏览器访问
1. 在浏览器中打开: `http://服务器IP:8010/webrtcapi.html`
2. 点击 'start' 按钮开始播放数字人视频
3. 在文本框中输入任意文字并提交，数字人将播报该段文字
### 方式二：客户端软件
- 下载地址: https://pan.quark.cn/s/d7192d8ac19b
- 安装客户端软件进行连接
## 快速体验
如果您想快速体验，可以使用以下云服务镜像：
**UCloud镜像**: https://www.compshare.cn/images/4458094e-a43d-45fe-9b57-de79253befe4?referral_code=3XW3852OBmnD089hMMrtuU&ytag=GPU_GitHub_livetalking
使用该镜像创建实例即可直接运行成功。
## Docker运行
如果您不想手动安装环境，可以直接使用Docker运行：
```bash
docker run --gpus all -it --network=host --rm registry.cn-beijing.aliyuncs.com/codewithgpu2/lipku-metahuman-stream:2K9qaMBu8v
```
代码在/root/metahuman-stream，先git pull拉一下最新代码，然后执行命令同第2、3步
提供如下镜像
- autodl镜像: <https://www.codewithgpu.com/i/lipku/metahuman-stream/base>
[autodl教程](https://livetalking-doc.readthedocs.io/en/latest/autodl/README.html)
- ucloud镜像: <https://www.compshare.cn/images/4458094e-a43d-45fe-9b57-de79253befe4?referral_code=3XW3852OBmnD089hMMrtuU&ytag=GPU_GitHub_livetalking>
可以开放任意端口，不需要另外部署srs服务.
[ucloud教程](https://livetalking-doc.readthedocs.io/en/latest/ucloud/ucloud.html)
## 5. 性能
- 性能主要跟cpu和gpu相关，每路视频压缩需要消耗cpu，cpu性能与视频分辨率正相关；每路口型推理跟gpu性能相关。
- 不说话时的并发数跟cpu相关，同时说话的并发数跟gpu相关。
- 后端日志inferfps表示显卡推理帧率，finalfps表示最终推流帧率。两者都要在25以上才能实时。如果inferfps在25以上，finalfps达不到25表示cpu性能不足。
- 实时推理性能
模型 |显卡型号 |fps
:---- |:--- |:---
wav2lip256 | 3060 | 60
musetalk | 3080Ti | 45
wav2lip256 | 3080Ti | 120
wav2lip256显卡3060以上即可，musetalk需要3080Ti以上。
## 6. 商业版
提供如下扩展功能，适用于对开源项目已经比较熟悉，需要扩展产品功能的用户
1. 高清wav2lip模型
2. 完全语音交互，数字人回答过程中支持通过唤醒词或者按钮打断提问
3. 实时同步字幕，给前端提供数字人每句话播报开始、结束事件
4. 每个连接可以指定对应avatar和音色，avatar图片加载加速
5. 动作编排：不说话时动作、唤醒时动作、思考时动作
6. 支持不限时长的数字人形象avatar
7. 提供实时音频流输入接口
8. 数字人透明背景，叠加动态背景
更多详情<https://livetalking-doc.readthedocs.io/zh-cn/latest/service.html#wav2lip>
## 7. 声明
代码位于 `/root/metahuman-stream`，先执行 `git pull` 拉取最新代码，然后按照上述步骤启动。
## 性能参考
| 模型 | 显卡型号 | FPS |
|------|----------|-----|
| wav2lip256 | RTX 3060 | 60 |
| musetalk | RTX 3080Ti | 45 |
| wav2lip256 | RTX 3080Ti | 120 |
**性能说明：**
- 不说话时的并发数取决于CPU性能
- 同时说话的并发数取决于GPU性能
- 后端日志中 `inferfps` 表示显卡推理帧率，`finalfps` 表示最终推流帧率
- 两者都要在25以上才能实现实时效果
## 常见问题
### 1. 访问HuggingFace问题
如果访问不了huggingface，在运行前设置：
```bash
export HF_ENDPOINT=https://hf-mirror.com
```
### 2. 视频连接问题
如果遇到视频连接问题，请参考：https://mp.weixin.qq.com/s/MVUkxxhV2cgMMHalphr2cg
### 3. 安装问题
详细安装FAQ请参考：https://livetalking-doc.readthedocs.io/zh-cn/latest/faq.html
## 技术支持
- **知识星球**: https://t.zsxq.com/7NMyO
- **微信公众号**: 数字人技术
- **项目地址**: https://github.com/lipku/LiveTalking
- **国内镜像**: https://gitee.com/lipku/LiveTalking
## 声明
基于本项目开发并发布在B站、视频号、抖音等网站上的视频需带上LiveTalking水印和标识，如需去除请联系作者备案授权。
---
如果本项目对你有帮助，帮忙点个star。也欢迎感兴趣的朋友一起来完善该项目.
* 知识星球: https://t.zsxq.com/7NMyO 沉淀高质量常见问题、最佳实践经验、问题解答
* 微信公众号：数字人技术
![](https://mmbiz.qpic.cn/sz_mmbiz_jpg/l3ZibgueFiaeyfaiaLZGuMGQXnhLWxibpJUS2gfs8Dje6JuMY8zu2tVyU9n8Zx1yaNncvKHBMibX0ocehoITy5qQEZg/640?wxfrom=12&tp=wxpic&usePicPrefetch=1&wx_fmt=jpeg&amp;from=appmsg)
如果本项目对您有帮助，欢迎给项目点个star，也欢迎感兴趣的朋友一起来完善该项目。

126
README.md.bac
Unescape Escape View File

@ -0,0 +1,126 @@
[English](./README-EN.md) | 中文版
实时交互流式数字人，实现音视频同步对话。基本可以达到商用效果
[wav2lip效果](https://www.bilibili.com/video/BV1scwBeyELA/) | [ernerf效果](https://www.bilibili.com/video/BV1G1421z73r/) | [musetalk效果](https://www.bilibili.com/video/BV1gm421N7vQ/)
国内镜像地址:<https://gitee.com/lipku/LiveTalking>
## 为避免与3d数字人混淆，原项目metahuman-stream改名为livetalking，原有链接地址继续可用
## News
- 2024.12.8 完善多并发，显存不随并发数增加
- 2024.12.21 添加wav2lip、musetalk模型预热，解决第一次推理卡顿问题。感谢[@heimaojinzhangyz](https://github.com/heimaojinzhangyz)
- 2024.12.28 添加数字人模型Ultralight-Digital-Human。 感谢[@lijihua2017](https://github.com/lijihua2017)
- 2025.2.7 添加fish-speech tts
- 2025.2.21 添加wav2lip256开源模型 感谢@不蠢不蠢
- 2025.3.2 添加腾讯语音合成服务
- 2025.3.16 支持mac gpu推理，感谢[@GcsSloop](https://github.com/GcsSloop)
- 2025.5.1 精简运行参数，ernerf模型移至git分支ernerf-rtmp
- 2025.6.7 添加虚拟摄像头输出
- 2025.7.5 添加豆包语音合成, 感谢[@ELK-milu](https://github.com/ELK-milu)
## Features
1. 支持多种数字人模型: ernerf、musetalk、wav2lip、Ultralight-Digital-Human
2. 支持声音克隆
3. 支持数字人说话被打断
4. 支持全身视频拼接
5. 支持webrtc、虚拟摄像头输出
6. 支持动作编排：不说话时播放自定义视频
7. 支持多并发
## 1. Installation
Tested on Ubuntu 24.04, Python3.10, Pytorch 2.5.0 and CUDA 12.4
### 1.1 Install dependency
```bash
conda create -n nerfstream python=3.10
conda activate nerfstream
#如果cuda版本不为12.4(运行nvidia-smi确认版本)，根据<https://pytorch.org/get-started/previous-versions/>安装对应版本的pytorch
conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.4 -c pytorch -c nvidia
pip install -r requirements.txt
#如果需要训练ernerf模型，安装下面的库
# pip install "git+https://github.com/facebookresearch/pytorch3d.git"
# pip install tensorflow-gpu==2.8.0
# pip install --upgrade "protobuf<=3.20.1"
```
安装常见问题[FAQ](https://livetalking-doc.readthedocs.io/zh-cn/latest/faq.html)
linux cuda环境搭建可以参考这篇文章 <https://zhuanlan.zhihu.com/p/674972886>
视频连不上解决方法 <https://mp.weixin.qq.com/s/MVUkxxhV2cgMMHalphr2cg>
## 2. Quick Start
- 下载模型
夸克云盘<https://pan.quark.cn/s/83a750323ef0>
GoogleDriver <https://drive.google.com/drive/folders/1FOC_MD6wdogyyX_7V1d4NDIO7P9NlSAJ?usp=sharing>
将wav2lip256.pth拷到本项目的models下, 重命名为wav2lip.pth;
将wav2lip256_avatar1.tar.gz解压后整个文件夹拷到本项目的data/avatars下
- 运行
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1
<font color=red>服务端需要开放端口 tcp:8010; udp:1-65536 </font>
客户端可以选用以下两种方式:
(1)用浏览器打开http://serverip:8010/webrtcapi.html , 先点‘start',播放数字人视频；然后在文本框输入任意文字，提交。数字人播报该段文字
(2)用客户端方式, 下载地址<https://pan.quark.cn/s/d7192d8ac19b>
- 快速体验
<https://www.compshare.cn/images/4458094e-a43d-45fe-9b57-de79253befe4?referral_code=3XW3852OBmnD089hMMrtuU&ytag=GPU_GitHub_livetalking> 用该镜像创建实例即可运行成功
如果访问不了huggingface，在运行前
```
export HF_ENDPOINT=https://hf-mirror.com
```
## 3. More Usage
使用说明: <https://livetalking-doc.readthedocs.io/>
## 4. Docker Run
不需要前面的安装，直接运行。
```
docker run --gpus all -it --network=host --rm registry.cn-beijing.aliyuncs.com/codewithgpu2/lipku-metahuman-stream:2K9qaMBu8v
```
代码在/root/metahuman-stream，先git pull拉一下最新代码，然后执行命令同第2、3步
提供如下镜像
- autodl镜像: <https://www.codewithgpu.com/i/lipku/metahuman-stream/base>
[autodl教程](https://livetalking-doc.readthedocs.io/en/latest/autodl/README.html)
- ucloud镜像: <https://www.compshare.cn/images/4458094e-a43d-45fe-9b57-de79253befe4?referral_code=3XW3852OBmnD089hMMrtuU&ytag=GPU_GitHub_livetalking>
可以开放任意端口，不需要另外部署srs服务.
[ucloud教程](https://livetalking-doc.readthedocs.io/en/latest/ucloud/ucloud.html)
## 5. 性能
- 性能主要跟cpu和gpu相关，每路视频压缩需要消耗cpu，cpu性能与视频分辨率正相关；每路口型推理跟gpu性能相关。
- 不说话时的并发数跟cpu相关，同时说话的并发数跟gpu相关。
- 后端日志inferfps表示显卡推理帧率，finalfps表示最终推流帧率。两者都要在25以上才能实时。如果inferfps在25以上，finalfps达不到25表示cpu性能不足。
- 实时推理性能
模型 |显卡型号 |fps
:---- |:--- |:---
wav2lip256 | 3060 | 60
musetalk | 3080Ti | 45
wav2lip256 | 3080Ti | 120
wav2lip256显卡3060以上即可，musetalk需要3080Ti以上。
## 6. 商业版
提供如下扩展功能，适用于对开源项目已经比较熟悉，需要扩展产品功能的用户
1. 高清wav2lip模型
2. 完全语音交互，数字人回答过程中支持通过唤醒词或者按钮打断提问
3. 实时同步字幕，给前端提供数字人每句话播报开始、结束事件
4. 每个连接可以指定对应avatar和音色，avatar图片加载加速
5. 动作编排：不说话时动作、唤醒时动作、思考时动作
6. 支持不限时长的数字人形象avatar
7. 提供实时音频流输入接口
8. 数字人透明背景，叠加动态背景
更多详情<https://livetalking-doc.readthedocs.io/zh-cn/latest/service.html#wav2lip>
## 7. 声明
基于本项目开发并发布在B站、视频号、抖音等网站上的视频需带上LiveTalking水印和标识，如需去除请联系作者备案授权。
---
如果本项目对你有帮助，帮忙点个star。也欢迎感兴趣的朋友一起来完善该项目.
* 知识星球: https://t.zsxq.com/7NMyO 沉淀高质量常见问题、最佳实践经验、问题解答
* 微信公众号：数字人技术
![](https://mmbiz.qpic.cn/sz_mmbiz_jpg/l3ZibgueFiaeyfaiaLZGuMGQXnhLWxibpJUS2gfs8Dje6JuMY8zu2tVyU9n8Zx1yaNncvKHBMibX0ocehoITy5qQEZg/640?wxfrom=12&tp=wxpic&usePicPrefetch=1&wx_fmt=jpeg&amp;from=appmsg)
Write Preview
Loading…
Cancel
Save