上海AI实验室等开源,音频、音乐统一开发工具包Amphion
上海AI实验室、香港中文大学数据科学院、深圳大数据研究院联合开源了一个名为Amphion的音频、音乐和语音生成工具包。
Amphion可帮助开发人员研究文本生成音频、音乐等与音频相关的领域,可以在一个框架内完成,以解决生成模型黑箱、代码库分散、缺少评估指标等难题。
Amphion包含了数据处理、通用模块、优化算法等基础设施。同时针对文本到语音、歌声转换、文本到音频生成等任务,提供了特定的框架、模型和开发说明,还内置了各类神经语音编解码器和评价指标。
尤其是对于那些刚接触生成式AI开发的新手来说,Amphion非常容易上手。
开源地址:https://github.com/open-mmlab/Amphion
论文地址:https://arxiv.org/abs/2312.09911
以下是Amphion包含的各种模型
文本到语音合成
Amphion内置的文本到语音合成模型,涵盖从传统到当前最先进的技术。例如,FastSpeech2使用前馈式Transformer架构实现快速语音合成;
VITS
2利用潜在扩散模型合成高质量语音。融合了条件变分自编码器,可实现端到端的语音合成;Vall-E使用神经编解码器语言模型一键实现零资源的语音合成;NaturalSpeech
开发者可根据业务需求,选择使用不同的模型进行语音合成。
歌声转换
Amphion提供了提取说话人无关表示的各类基于内容的特征,例如,来自WeNet、Whisper和ContentVec的预训练语音特征。
同时实现了多种声学解码器架构,比如基于扩散模型、变压器和变分自编码器的方法。
此外,借助内置的神经语音编解码器合成声波输出,开发者可以灵活配置不同模块,进行不同歌声风格转换。
文本到音频生成
Amphion使用了主流的潜在扩散生成模型。该模型包含一个将频谱映射到潜空间的变分自动编码器,一个接受文本并输出条件的T5编码器,以及一个扩散网络生成最终音频。
用户只需给出音频描述文本,就可以生成语义一致的背景音效。
神经语音编解码器
Amphion提供了丰富的编解码器算法选项,涵盖主流的自动回归模型、流模型、对抗生成模型、扩散模型等。
例如,WaveNet使用膨胀卷积实现高质量语音合成;HiFi-GAN应用多尺度判别器实现高保真的语音重构等,可满足不同业务场景的需求。
性能评估模块
为了帮助开发者全面评估生成语音的质量和性能,Amphion提供了丰富的评估模块。
评估基频建模、能量建模、频谱失真、可懂度等语音维度,可帮助开发者简单直观地比较不同模型的性能。
开发团队表示,未来,会持续更新这个工具包,加入更多与语音相关的模型,打造成最好用的开源语音工具包之一。
本文素材来源Amphion论文,如有侵权请联系删除
极氪007交付已达10000台 仅用时67天
站长之家(ChinaZ.com)3月7日消息:近日,极氪智能科技宣布其首款纯电轿车极氪007交付量已达到惊人的10000台,仅用时67天,这一成绩再次彰显了极氪汽车的“极氪速度”,打破了量产破万的最快记录。作为极氪的得力之作,极氪007自去年年底上市以来,凭借其出色的性能和合理的售价,赢得了市场的广泛认可。该车共推出5款车型,售价区间为20.99万元至29.99万元,并于今年元旦开启全国交付。站长网2024-03-07 18:01:060000里程碑!河南小米之家第1000家店开业
近日,小米公司河南省分公司总经理王腾宣布,小米之家郑州居然之家中陆广场店正式开业。这是河南省的第1000家小米之家门店,也是新的里程碑和线下第一家智能生态体验中心。小米公司的官方直营零售体验店——小米之家,除了提供最新产品的销售,还为顾客提供小米员工的操作指导和玩机技巧等服务。站长网2023-07-15 22:22:270000苹果打算自研搜索引擎:谷歌前高层领导开发 代号“飞马”
快科技10月3日消息,彭博社的MarkGurman最近透露,苹果正在努力开发名为代号Pegasus飞马”的搜索引擎。苹果开发飞马”并不是为了直接与谷歌竞争,而是为了将其深入集成到iOS和macOS中,甚至会使用生成AI工具来进行增强,同时也可以为用户带来隐私保护的搜索体验。站长网2023-10-04 08:58:020000腾讯公关总监张军回应“马化腾谈收紧队形”:系外部群聊天
近日,腾讯创始人马化腾在一篇关于裁员的文章中提出了后续环境挑战目前看还挺大的观点,并呼吁团队收紧队形,做一些余量考虑,应对突发挑战。图中,马化腾转发了一篇《聊聊裁员的事》得微信文章,并配文表示“后续环境挑战目前看还挺大。你们要收紧队形,做一些余量考虑,应对一些突发的挑战。不可过于乐观。”该文章名为《聊聊裁员的事》,引起了网友的猜测,认为这是马化腾在内部的最新言论。站长网2023-06-03 09:19:420000阿里腾讯合作深化 微信广告可直跳淘宝天猫
据界面新闻报道,双11前夕,阿里妈妈与腾讯广告宣布深化合作:微信视频号、朋友圈、小程序等广告流量通过阿里妈妈UD效果投放,可直跳淘宝、天猫商家的店铺、商品详情及淘宝直播间。双方还将在人群互补、系统共建等方面展开深度融合,另外针对双11双方还将投入“双11超引爆计划”,投入亿元补贴商家。站长网2023-09-25 16:13:330000