Meta 开源 MusicGen 模型:用 AI 将文本和旋律结合 创造全新音乐作品
Meta 的 MusicGen 可以根据文本提示生成短小的新音乐片段,并可选择与现有旋律对齐。
与今天的大多数语言模型一样,MusicGen 基于 Transformer 模型。就像语言模型预测句子中的下一个字符一样,MusicGen 预测音乐作品中的下一个部分。
研究人员使用 Meta 的 EnCodec 音频标记器将音频数据分解为较小的组件。作为一个单阶段模型,它可以并行处理标记,因此 MusicGen 速度快且高效。
该团队使用了 20,000 小时的授权音乐进行训练。特别的是,他们依赖于一组内部的 10,000 首高质量音乐曲目的数据集,以及来自 Shutterstock 和 Pond5 的音乐数据。
MusicGen 可以处理文本和音乐提示
除了架构的效率和生成速度外,MusicGen 在能够处理文本和音乐提示方面也是独特的。文本设置了基本风格,然后与音频文件中的旋律匹配。
例如,如果将文本提示「一个轻快愉快的 EDM 音轨,带有交响鼓、轻柔垫音和强烈情感,速度:130 BPM」与巴赫著名作品《降 D 小调的触技曲与赋格曲(BWV 565)》的旋律结合起来,将生成以下音乐作品:
你无法精确控制与旋律的结合,例如在不同风格中听到旋律。它只作为生成的大致指南,并不完全反映在输出中。
MusicGen 领先于Google 的 MusicLM
研究的作者对其模型的三个不同大小进行了测试:3 亿(300M)、15 亿(1.5B)和 33 亿(3.3B)个参数。他们发现更大的模型生成的音频质量更高,但人们评价最好的是 15 亿参数模型。另一方面,33 亿参数模型更擅长准确匹配文本输入和音频输出。
与其他音乐模型(如 Riffusion、Mousai、MusicLM 和 Noise2Music)相比,MusicGen 在客观和主观指标上表现更好,这些指标测试音乐与歌词的匹配程度以及作曲的可信度。总体而言,这些模型略高于Google 的 MusicLM 水平。
Meta 已在 Github 上发布了代码和模型的开源版本,并允许商业使用。在 Huggingface 上提供了演示。
Github 代码和模型:https://github.com/facebookresearch/audiocraft
Huggingface演示:https://huggingface.co/spaces/facebook/MusicGen
全球首款北斗卫星通信平板!华为MatePad Pro 11 2024款官宣
华为在今日正式宣布推出了一款新品——华为MatePadPro11英寸平板电脑。据官方预热信息,这款平板被描述为“实力上星,轻巧随行”。华为MatePadPro11英寸2024款被宣传为全球首款支持北斗卫星通信的平板电脑。这意味着,即使在没有网络的情况下,用户仍可以通过这款平板直接连接北斗卫星发送消息和位置信息。站长网2023-11-23 10:40:440000充电费涨价电车真成电动爹了 出租司机:每月比过去多花4、500
10月29日消息,据报道,今年下半年以来,全国多地公共充电桩价格上涨,国内多个城市的新能源汽车车主表示,充电费用涨价不少,与此前相比,开车运营成本大幅增加。上海,郑州、重庆等多地的新能源车主纷纷吐槽,公共充电桩充电价格突然上涨,让他们开的电车也没有那么香了,电动车成电动爹”。0000特斯拉官方暗讽理想汽车 后者称买车要看家人需要什么
特斯拉在抖音上发布了一条暗讽理想汽车的短视频,引发网友热议。视频中,特斯拉强调“不选PPT安全,要选真实安全”,并配图一位被遮住脸的人物,配文“500万内最好的SUV”,疑似在讽刺理想汽车创始人李想。同时,特斯拉还表示“不选彩电冰箱大沙发表面装修,要选电机电控电池隐形制造”,也是在暗指理想汽车过度关注表面配置而忽视核心技术。000024GB内存手机来了,与其卷内存,不如好好治理App生态?
最近这半年,大家应该都注意到了存储产品的大降价。尤其是刚过没多久的618大促,上游厂商希望通过大促降价走货,调低NAND库存水位,叠加长江存储在国内市场的大规模出货,大容量SSD的价格几乎杀到了底价。相对地,在今年618大部分消费电子产品颓势依旧的情况下,京东数据显示,2TBSSD的成交额同比增长超4倍。站长网2023-06-29 23:46:290000OpenAI正式发布!自定义GPT商店正式上线
要点:OpenAI正式发布自定义ChatGPT商店,允许用户分享和获取最好用、流行的自定义ChatGPT助手。GPT开发者将在2024年第一季度启动收入计划,向美国地区开发者提供金钱回报,并计划提供更详细的收入计划。OpenAI发布了ChatGPTTeam版本,支持32K上下文,访问最新模型,具备视觉、高级数据分析等功能,被广泛应用于企业,收费方式为按年计费和按月计费。站长网2024-01-11 09:15:590000