Meta 开源 MusicGen 模型:用 AI 将文本和旋律结合 创造全新音乐作品
Meta 的 MusicGen 可以根据文本提示生成短小的新音乐片段,并可选择与现有旋律对齐。
与今天的大多数语言模型一样,MusicGen 基于 Transformer 模型。就像语言模型预测句子中的下一个字符一样,MusicGen 预测音乐作品中的下一个部分。
研究人员使用 Meta 的 EnCodec 音频标记器将音频数据分解为较小的组件。作为一个单阶段模型,它可以并行处理标记,因此 MusicGen 速度快且高效。
该团队使用了 20,000 小时的授权音乐进行训练。特别的是,他们依赖于一组内部的 10,000 首高质量音乐曲目的数据集,以及来自 Shutterstock 和 Pond5 的音乐数据。
MusicGen 可以处理文本和音乐提示
除了架构的效率和生成速度外,MusicGen 在能够处理文本和音乐提示方面也是独特的。文本设置了基本风格,然后与音频文件中的旋律匹配。
例如,如果将文本提示「一个轻快愉快的 EDM 音轨,带有交响鼓、轻柔垫音和强烈情感,速度:130 BPM」与巴赫著名作品《降 D 小调的触技曲与赋格曲(BWV 565)》的旋律结合起来,将生成以下音乐作品:
你无法精确控制与旋律的结合,例如在不同风格中听到旋律。它只作为生成的大致指南,并不完全反映在输出中。
MusicGen 领先于Google 的 MusicLM
研究的作者对其模型的三个不同大小进行了测试:3 亿(300M)、15 亿(1.5B)和 33 亿(3.3B)个参数。他们发现更大的模型生成的音频质量更高,但人们评价最好的是 15 亿参数模型。另一方面,33 亿参数模型更擅长准确匹配文本输入和音频输出。
与其他音乐模型(如 Riffusion、Mousai、MusicLM 和 Noise2Music)相比,MusicGen 在客观和主观指标上表现更好,这些指标测试音乐与歌词的匹配程度以及作曲的可信度。总体而言,这些模型略高于Google 的 MusicLM 水平。
Meta 已在 Github 上发布了代码和模型的开源版本,并允许商业使用。在 Huggingface 上提供了演示。
Github 代码和模型:https://github.com/facebookresearch/audiocraft
Huggingface演示:https://huggingface.co/spaces/facebook/MusicGen
小米汽车电池将采用 800V 碳化硅高压平台 续航超1000km
在今日下午的技术发布会上,小米的自研800V碳化硅高压平台正式登场。小米的800V碳化硅高压平台拥有真正的高压,其最高电压达到871V。并且,它的CTB一体化电池技术提供了全球最高的体积效率,即77.8%。站长网2023-12-28 14:58:050000特斯拉新款Roadster跑车年底亮相 马斯克:加速时间不到1秒
特斯拉创始人埃隆·马斯克今日在X平台上发布了一系列关于特斯拉第二代Roadster跑车的帖子,引发广泛关注。他自豪地宣布,新款Roadster跑车的设计目标已大幅提升,有望成为有史以来最令人兴奋的产品。马斯克在帖子中透露,特斯拉Roadster的生产计划已经完成,预计将在年底正式推出,并计划明年开始发货。他强调,这款跑车不仅在设计上有所突破,更在性能上达到了前所未有的高度。站长网2024-02-28 16:10:300000阿里云将分拆上市 阿里多业务集团启动上市计划
在昨日的财报电话会议中,阿里巴巴集团董事会主席兼CEO、阿里云智能集团董事长兼CEO张勇宣布,阿里多业务集团启动上市计划,未来12个月内阿里云智能集团将在阿里集团中完全分拆并上市。他提到,回顾阿里云的14年发展历程以及AI大模型的高速发展与云计算的深度结合,他看到巨大的市场潜力,并对阿里云未来充满信心。站长网2023-05-19 08:55:220000惠普 CEO:人工智能将彻底改变个人电脑行业 创造一个新的 PC 类别
惠普公司首席执行官EnriqueLores日前在接受CNBC的JimCramer采访时表示,人工智能将从根本上改变个人电脑行业,特别是对他自己的公司而言。站长网2023-05-31 21:00:310000荣耀 Magic V2 折叠手机将于 7 月 12 日 19:30 发布
今日,荣耀手机官方宣布,荣耀MagicV2折叠屏手机将于7月12日19:30发布。目前,消费者已经开始预约购买。荣耀CEO赵明表示,在折叠屏手机的开发中,需要打破原有的演进思维,将消费者最需要的产品放在首位,打破行业中固有的不可能,从而为消费者带来更优良的体验。据了解,荣耀MagicV2的厚度将在5.2mm左右,比竞争对手薄0.1mm。站长网2023-07-04 00:57:030000