新语音转换技术CoMoSVC ：速度飙升500倍，高质量歌声转换

划重点:

- 🌐 **创新方法:** CoMoSVC采用一致性模型，通过教师-学生模型框架，实现高质量音频生成和快速采样的突破性方法。

- 🚀 **快速采样:** CoMoSVC的学生模型在保持音频质量的前提下，实现了高达500倍的推理速度提升，解决了传统方法中处理速度慢的关键问题。

- 🎶 **平衡速度与质量:** 该技术在速度和音频质量之间取得了平衡，为音乐娱乐等领域的实时应用带来了新的可能性。

近日，香港科技大学与微软亚洲研究院的研究团队联手开发的CoMoSVC技术在歌声转换领域取得了革命性突破。

歌声转换技术一直致力于在保持歌曲内容和旋律不变的前提下，将一个歌手的声音转换为另一个歌手的声音，为音乐娱乐和艺术创作提供了广泛应用。然而，传统的扩散式歌声转换方法由于其迭代采样过程而处理速度缓慢，尤其在实时应用方面表现不佳。

CoMoSVC采用了一种全新的方法，借助一致性模型，旨在实现高质量音频生成和快速采样的双重目标。该技术通过两个关键阶段的处理，即编码和解码，来完成歌声的转换过程。在编码阶段，CoMoSVC从波形中提取特征，并将歌手身份编码到嵌入中。而在解码阶段，该技术创新性地使用学生模型，该模型是从预训练的教师模型中提炼而来，实现了一步到位的音频采样，这在传统方法中是难以实现的。

CoMoSVC在性能方面表现出色。与当前扩散式歌声转换系统相比，其推理速度显著提高，最高可达500倍之多，同时保持或超越它们的音频质量表现。这一平衡速度与质量的创新，使CoMoSVC在歌声转换技术领域取得了里程碑式的成就。

CoMoSVC的问世为实时应用带来了新的可能性，尤其在音乐娱乐等领域具有广泛的应用前景。这一突破性进展成功解决了传统歌声转换方法中一直存在的处理速度瓶颈，为该技术的未来发展打开了新的篇章。

论文网址:https://arxiv.org/abs/2401.01792

项目网址:https://comosvc.github.io/