openvpi--diffsinger
wehub-resource-sync
83 行
5.5 KiB
Markdown
83 行
5.5 KiB
Markdown
<!-- WEHUB_ZH_README -->
|
||
> [!NOTE]
|
||
> 本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
|
||
> [English](./README.en.md) · [原始项目](https://github.com/openvpi/DiffSinger) · [上游 README](https://github.com/openvpi/DiffSinger/blob/HEAD/README.md)
|
||
> 原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
|
||
|
||
# DiffSinger（OpenVPI 维护版本）
|
||
|
||
[](https://arxiv.org/abs/2105.02446)
|
||
[](https://github.com/openvpi/DiffSinger/releases)
|
||
[](https://www.bilibili.com/video/BV1be411N7JA/)
|
||
[](https://github.com/openvpi/DiffSinger/blob/main/LICENSE)
|
||
|
||
这是基于原始 [论文](https://arxiv.org/abs/2105.02446) 和 [实现](https://github.com/MoonInTheRiver/DiffSinger), 对 _DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism_ 进行重构与增强的版本，提供：
|
||
|
||
- 更清晰的代码结构：移除无用与冗余文件，并对其余文件重新组织。
|
||
- 更好的音质：合成音频的采样率适配为 44.1 kHz，而非原始的 24 kHz。
|
||
- 更高的保真度：集成了改进的声学模型与扩散采样加速算法。
|
||
- 更强的可控性：引入方差模型及相关参数，用于预测与控制音高、能量、气声等。
|
||
- 生产环境兼容性：功能设计契合生产部署需求与 SVS 社区。
|
||
|
||
| 概览 | 方差模型（Variance Model） | 声学模型（Acoustic Model） |
|
||
|:-------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------:|
|
||
| <img src="docs/resources/arch-overview.jpg" alt="arch-overview" style="zoom: 60%;" /> | <img src="docs/resources/arch-variance.jpg" alt="arch-variance" style="zoom: 50%;" /> | <img src="docs/resources/arch-acoustic.jpg" alt="arch-acoustic" style="zoom: 60%;" /> |
|
||
|
||
## 用户指南
|
||
|
||
> 包含全部教程与资源的导航页（中文）：https://diffsinger.com
|
||
|
||
- **安装与基础用法**：参见 [Getting Started](docs/GettingStarted.md)
|
||
- **数据集制作流程与工具**：参见 [MakeDiffSinger](https://github.com/openvpi/MakeDiffSinger)
|
||
- **最佳实践与教程**：参见 [Best Practices](docs/BestPractices.md)
|
||
- **编辑配置**：参见 [Configuration Schemas](docs/ConfigurationSchemas.md)
|
||
- **部署与生产**：[OpenUTAU](https://github.com/stakira/OpenUtau), [DiffScope（开发中）](https://github.com/diffscope/diffscope-project)
|
||
- **交流社群**：[QQ 群](http://qm.qq.com/cgi-bin/qm/qr?_wv=1027&k=fibG_dxuPW5maUJwe9_ya5-zFcIwaoOR&authKey=ZgLCG5EqQVUGCID1nfKei8tCnlQHAmD9koxebFXv5WfUchhLwWxb52o1pimNai5A&noverify=0&group_code=907879266)（907879266），[Discord 服务器](https://discord.gg/wwbu2JUMjj)
|
||
|
||
## 进度与路线图
|
||
|
||
- **自 fork 至本仓库以来的进展**：参见 [Releases](https://github.com/openvpi/DiffSinger/releases)
|
||
- **未来版本路线图**：参见 [Project Board](https://github.com/orgs/openvpi/projects/1)
|
||
- **想法、提案与建议**：参见 [Discussions](https://github.com/openvpi/DiffSinger/discussions)
|
||
|
||
## 架构与算法
|
||
|
||
TBD
|
||
|
||
## 开发资源
|
||
|
||
TBD
|
||
|
||
## 参考资料
|
||
|
||
### 原始论文与实现
|
||
|
||
- 论文：[DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism](https://arxiv.org/abs/2105.02446)
|
||
- 实现：[MoonInTheRiver/DiffSinger](https://github.com/MoonInTheRiver/DiffSinger)
|
||
|
||
### 生成模型与算法
|
||
|
||
- 去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM）：[论文](https://arxiv.org/abs/2006.11239), [实现](https://github.com/hojonathanho/diffusion)
|
||
- [DDIM](https://arxiv.org/abs/2010.02502) 用于扩散采样加速
|
||
- [PNDM](https://arxiv.org/abs/2202.09778) 用于扩散采样加速
|
||
- [DPM-Solver++](https://github.com/LuChengTHU/dpm-solver) 用于扩散采样加速
|
||
- [UniPC](https://github.com/wl-zhao/UniPC) 用于扩散采样加速
|
||
- 整流流（Rectified Flow, RF）：[论文](https://arxiv.org/abs/2209.03003), [实现](https://github.com/gnobitab/RectifiedFlow)
|
||
|
||
### 依赖与子模块
|
||
|
||
- [RoPE](https://github.com/lucidrains/rotary-embedding-torch) 用于 transformer 编码器
|
||
- [Mix-LN](https://www.isca-archive.org/interspeech_2024/hwang24_interspeech.pdf) 用于跨说话人/跨语种学习
|
||
- [HiFi-GAN](https://github.com/jik876/hifi-gan) 与 [NSF](https://github.com/nii-yamagishilab/project-NN-Pytorch-scripts/tree/master/project/01-nsf) 用于波形重建
|
||
- [pc-ddsp](https://github.com/yxlllc/pc-ddsp) 用于波形重建
|
||
- [RMVPE](https://github.com/Dream-High/RMVPE) 与 yxlllc 的 [fork](https://github.com/yxlllc/RMVPE) 用于音高提取
|
||
- [Vocal Remover](https://github.com/tsurumeso/vocal-remover) 与 yxlllc 的 [fork](https://github.com/yxlllc/vocal-remover) 用于谐波-噪声分离
|
||
|
||
## 免责声明
|
||
|
||
任何组织或个人不得使用本仓库中的任何功能，在未经本人同意的情况下生成某人的语音，包括但不限于政府领导人、政治人物和名人。若您未遵守本条款，可能构成对版权法的违反。
|
||
|
||
## 许可证
|
||
|
||
本 fork 的 DiffSinger 仓库采用 [Apache 2.0 License](LICENSE) 许可。
|