Stability AI发布AI音乐生成工具Stable Audio

要点:

位于伦敦的初创公司Stability AI推出了Stable Audio，这是一个使用人工智能从简单的文本输入生成自定义音乐曲目和音效的工具，具备在较长时间内生成专业音频的能力。

Stable Audio的优势在于其能够以多种流派生成音乐作品，提供用户友好的基于浏览器的界面，面向需要快速背景音乐的创意专业人士。

该系统在由AudioSparx提供的大型音乐库上进行了训练，而在训练中使用的歌曲的创作者则通过AudioSparx分享了Stable Audio的利润，尽管仍存在有关潜在内容抄袭和版权问题的担忧。

总部位于伦敦的初创公司 Stability AI 于周三推出了一款名为 Stable Audio 的新产品，该产品利用人工智能生成定制音乐曲目和音效。

Stable Audio 使用一种基于扩散的 AI 模型，可以在几秒钟内从简单的文本输入生成定制音频文件。用户可以指定音乐风格、乐器、音调和其他特征，系统然后自动创作出相匹配的歌曲、音效或乐器声部。

Stability AI 使用输入文本进行了测试，如“后摇滚、吉他、鼓套、低音、弦乐、欢快、振奋、情绪化、流畅、原始、史诗、多愁善感、125BPM”。结果是一首快速的大气摇滚歌曲，BPM 为125。根据 Stability 的说法，这表明 Stable Audio 可以生成多种风格的歌曲，包括氛围音乐、技术音乐和电子舞曲。

与以往基于人工智能的音乐生成器不同，Stable Audio 似乎能够以长达90秒的时间生成音乐上连贯的作品，并且以44.1kHz 的专业音频质量。

生成的样本音频听起来非常真实，几乎不会让人怀疑背后没有人类作曲家。根据 Stability AI 的说法，使用 Nvidia A100GPU，95秒音频可以在不到一秒钟内生成。

这种技术有潜力在各种应用中发挥作用，特别是在电影制作和游戏开发等创意领域。通过网络浏览器可以访问，即使对人工智能不熟悉的用户也能轻松使用。

为了实现这种质量，Stability AI 对音乐库进行了培训，音乐库由 AudioSparx 提供。通过使用约80万首歌曲、音效和乐器片段，AudioSparx 与 Stability AI 合作，并承诺将音乐库的收入份额提供给初创公司 Stability Audio。作为回报，参与培训的歌曲的创作者可以通过 AudioSparx 分享 Stable Audio 的利润。

据称，在培训之前，这些创作人被问及是否愿意提供他们的歌曲。这个决定可能是对 Stability 在 Stable Diffusion 的培训素材涉及版权辩论中所面临的大规模反对的回应。

根据 Stability AI 的说法，用户可以免费将使用 Stable Audio 创建的音轨用于个人用途。商业用途需要付费订阅。该公司的目标是创意专业人士，如电影制片人或游戏开发人员，他们需要快速获得合适的背景音乐。

Stability AI 还计划发布一个基于不同数据集训练的开源音乐模型。

Stable Audio 不同于 Stable Diffusion，因为它不是开源的，不像流行的图像模型那样。然而，FAQ 中表示，将很快发布一个基于其他数据集训练的开源模型。

Stable Audio 的基础是文本到音乐的模型 Dance Diffusion，该模型是在2022年由 Harmonai 发布的，并得到了 Stability 的支持。然而，Stable Audio 是 Stability AI 音频部门从零开始开发的模型，该部门成立于2022年4月。

对音乐使用扩散模型并不是一个新的想法。然而，Stable Audio 的强大之处在于它能够以不同长度生成作品，训练过程中考虑到了这一点。

Stability AI 是这样解释底层技术的:

Stable Audio 是一个潜在扩散模型，由几个部分组成:变分自动编码器 （VAE）、文本编码器和基于 U-net 的扩散模型。VAE 将立体声音频压缩为有损、抗噪声和可逆的潜在编码，从而实现更快的生成和训练。新训练的 CLAP 模型的冻结文本编码器用于文本提示。定时嵌入在训练期间计算并用于控制输出音频长度。Stable Audio 的扩散模型是基于 Moûsai 模型的9.07亿参数 U 网。

您可以通过最近推出的网络界面专门使用稳定音频。每月有20首时长不超过45秒的歌曲免费供个人使用。每月只需11.99美元，即可获得500首歌曲，播放时间长达90秒，并获得商业许可。

没有内容过滤器很容易导致抄袭

该工具还可以用来伪造流行艺术家的歌曲。到目前为止，唱片公司已经能够成功地对抗此类人工智能创作，但法律状况仍不清楚。

Stability AI 本身在接受 Techcrunch 采访时坚称，它希望负责任地使用该技术。AudioSparx 的数据库不包含流行歌曲，但许多歌曲都以知名艺术家的风格进行标记。与谷歌的 MusicLM不同，著名艺术家的名字不会被屏蔽，至少目前还没有。

Stable Audio 能否为 Stability AI 的商业模式带来回报还有待观察，该商业模式迄今为止一直处于亏损状态。无论如何，人工智能作品的令人印象深刻的质量让你刮目相看。