2 Commits (6dd2f720901a91904268c5b03fa68e2ebd5a309e)

Author SHA1 Message Date
ChasonJiang 6dd2f72090
更改gpt并行推理时的mask策略为padding left (#2144)
* 更改gpt并行推理时的mask策略为padding left,使batch_infer更接近于naive_infer
减少冗余操作并使用torch_sdpa,以提升推理速度

* rollback tts_infer.yaml
5 months ago
ChasonJiang 52c50c6c81
All in one! 合并main分支和fast_inference_分支 (#1490)
* 合并main分支和fast_inference_分支

* 修复一些bug
12 months ago