Mustango:结合扩散模型, 提高文本生成音乐质量
划重点:
🔸 研究团队提出了一个名为 Mustango 的解决方案,扩展了 Tango 文本到音频模型,旨在通过丰富的说明来控制生成的音乐。
🔸 Mustango 利用音乐领域的知识,结合扩散模型,实现了从文本到音乐的转换。
🔸 研究人员通过广泛的实验表明,Mustango 在音乐质量和可控性方面取得了最新的成果。
在文本到音乐合成领域,生成内容的质量一直在提高,但对音乐方面的可控性仍未得到探索。新加坡科技与设计大学和伦敦玛丽女王大学的研究人员提出了一个名为 Mustango 的解决方案,它扩展了 Tango 文本到音频模型,旨在通过丰富的说明来控制生成的音乐,这些说明包含与和弦、节拍、速度和键相关的具体指令。
研究人员将 Mustango 介绍为一种基于扩散模型的音乐领域知识启发的文本到音乐系统。他们强调了从扩散模型直接生成音乐所面临的独特挑战,强调了在与条件文本对齐和音乐性之间取得平衡的需求。Mustango 使音乐家、制作人和音效设计师能够根据特定条件(如和弦进行、速度和键选择)创建音乐片段。
作为 Mustango 的一部分,研究人员提出了 MuNet,即音乐领域知识启发的 UNet 子模块。MuNet 将音乐专用功能与从文本提示中预测的功能集成到扩散去噪过程中。为了克服现有带有音乐和文本说明的开放数据集的有限可用性,研究人员引入了一种新颖的数据增强方法。该方法涉及改变音乐音频的和谐、节奏和动态方面,并使用音乐信息检索方法提取音乐特征,然后将这些特征附加到现有的文本描述中,从而得到 MusicBench 数据集。
MusicBench 数据集包含超过52,000个实例,通过将节拍、下拍位置、基本和弦进行、键和速度添加到原始文本描述中,丰富了数据集。研究人员进行了广泛的实验,证明了 Mustango 在音乐质量方面达到了最新的水平。他们强调了 Mustango 通过音乐专用文本提示的可控性,展示了在捕捉多个数据集中所需的和弦、节拍、键和速度方面的出色性能。他们评估了这些预测器在没有控制句子的情况下的适应能力,并观察到 Mustango 在这种情况下的表现优于 Tango,表明控制预测器不会影响性能。
实验包括与 Tango 和 Mustango 的变体等基线的比较,证明了所提出的数据增强方法在提高性能方面的有效性。从头开始训练的 Mustango 被认为是表现最好的模型,在音频质量、节奏存在和谐等方面超过了 Tango 和其他变体。Mustango 拥有14亿个参数,比 Tango 多得多。
研究人员将 Mustango 作为文本到音乐合成领域的重要进展。他们解决了现有系统中的可控性差距,并通过广泛的实验证明了他们提出的方法的有效性。Mustango 不仅实现了最新的音乐质量,还提供了增强的可控性,为该领域的发展做出了宝贵的贡献。研究人员发布了 MusicBench 数据集,为未来的文本到音乐合成研究提供了资源。
项目网址:https://github.com/amaai-lab/mustango
https://huggingface.co/spaces/declare-lab/mustango
论文网址:https://arxiv.org/abs/2311.08355v1
Salesforce推出对话式AI工具Slack GPT
客户关系管理(CRM)公司Slack宣布推出了名为SlackGPT的生成式AI工具,旨在为用户提供更智能、更高效的工作方式。SlackGPT是一种定制生成AI工具,可以集成到Slack平台中,提供更智能的用户体验和简化工作流程。用户和开发人员可以利用SlackGPT来创建AI驱动的体验,并根据平台上可用的数据和内容来开发相关模型。站长网2023-07-21 17:54:520000研究:71%音乐人担忧人工智能威胁谋生
划重点:1.📌音乐人担忧:法国和德国音乐协会进行的一项研究显示,超过三分之二的音乐人担心人工智能将使他们无法谋生。2.📌已使用AI:35%的受访者表示已在与音乐创作相关的许多领域中使用人工智能。3.📌收入预测:专家估计,到2028年,音乐人的收入将下降27%,相当于约27亿欧元(29亿美元)。站长网2024-01-31 10:18:390000雷军公布第二批小米汽车交付中心候选名单:网友投票选出10个城市
快科技3月22日消息,小米首款汽车SU7将于3月28日正式上市,目前多地交付中心已经准备完善。据爆料,全国29城、59家门店将于3月25日提前开启品鉴,首批城市包括北京、上海、广州、深圳、宁波、无锡、重庆、武汉、杭州、郑州、厦门等。今天上午,雷军又发文征集第二批小米汽车交付中心城市,公布了一批候选名单,希望网友投票选出10个城市。站长网2024-03-23 03:46:440000智能手机避坑指南 | 哪些手机型号千万不要买?主流品牌全汇总
文|小伊评科技马上就要到618了,很多博主包括笔者自己也都出了不少购机攻略,推荐了很多比较值得购买的机型。那么本文就来给大家汇总一下目前手机市场中千万不要入手的手机,帮助大家合理避坑,本文会根据手机品牌来进行罗列。「小米篇」入围机型:红米Note12RPro、小米13Pro、红米Note12Pro极速版、红米Note12Pro、红米K60Pro站长网2023-05-24 16:59:460000报道称Stability AI成功融资5000万美元
划重点:📈StabilityAI成功融资5000万美元,通过可转换债券获得。🤝公司在融资前后面临管理层变动和法律纠纷。📊StabilityAI强调过去一年来收入增长十倍,并计划推出更多新产品。站长网2023-11-10 11:48:340000