深入揭发：AI Music 新平台 Udio 训练数据来源分析，依然涉嫌侵权

上月关于Suno生成音乐数据来源的调查分析引发了国内外音乐界广泛的讨论和争议。文中将生成的音乐与著名歌曲进行对比，而两者之间的相似程度令人震惊。

上月关于Suno生成音乐数据来源的调查分析《深入揭发：Suno 的音乐 AI 训练数据是否侵权？》引发了国内外音乐界广泛的讨论和争议。文中将生成的音乐与著名歌曲进行对比，而两者之间的相似程度令人震惊。

前文和本文的作者Ed Newton-Rex作为曾在TikTok/字节跳动和Stability AI工作的音乐人工智能资深专家，因不认同Stable Audio[训练数据侵权的行为而离职抗议。他目前担任致力于人工智能数据合规的组织Fairly Trained[https://www.fairlytrained.org/]首席执行官，最近将目光从Suno转向另一个类似的初创公司Udio。Udio的创始人来自谷歌Lyria团队，其产品能够根据提示词快速生成完整的音乐。Udio最近得到了包括Andreessen Horowitz在内总共1000万美元的融资。

图1：Ed Newton-Rex

在使用了Udio之后，Ed Newton-Rex对其生成的音乐内容进行了详尽的对比分析。结果显示Udio可以生成与知名歌曲极其类似的内容。这表明Udio与Suno的训练数据都极有可能涉嫌侵权。（下文中“我”代指“Ed Newton-Rex” ）

背景

Udio尚未在公开资料中透露其模型训练所使用的数据来源。在采访中[https://musically.com/2024/04/10/ai-music-startup-udio-launches-backed-by-artists-and-instagrams-co-founder/]，Udio的两位创始人没有直接回答这个问题，而是表示他们“使用大量公开的高品质音乐进行训练”并且“有非常强大的关键词过滤器以确保不会生成受版权保护的内容”。

简而言之，他们保留了利用受版权保护的音乐进行模型训练的可能性。多数人认为未经许可使用受版权保护的作品训练生成式人工智能模型构成侵犯版权行为，无论模型生成的内容是否是训练数据的完全复制品。由于Udio拒绝透露其训练数据来源，因此想要了解其训练数据来源，办法之一就是使用产品，看看生成结果与受版权保护的音乐内容是否有所相似。

我（Ed Newton-Rex）一直在使用 Udio。事实证明，与Suno一样，Udio生成的内容在无论是旋律、和弦、风格还是歌词上与受版权保护的音乐都非常相似。

第一部分：旋律与和弦

Udio允许用户输入自定义歌词控制。为了生成本节中的示例，我输入的歌词通常是使用受版权保护的歌词的修改版本。你可以忽略歌词而关注于音乐相似性。

示例1

歌词：接近于ABBA的《Dancing Queen》
提示词：A famous 70s pop song about queens who dance, by a Swedish band that rhymes with fabba, europop, disco, keyboard, from an album that rhymes with jarrival
结果：

“we can jive”这个短语与ABBA原曲中对应的短语“you can jive”极为相似。这一点只要听一听就会明白，但我们也可以检查一下乐谱。（为了便于比较，我把本文中的所有乐谱都转为C调。）

图2：原曲

图3：Udio

我们看到了许多相似之处：相同的基本旋律，与调相关的音高相同；，除了在“can”上切分音之外相同的节奏；几乎完全相同的合声。这还不包括相近的歌声音色。虽然理论上即使训练数据中没有ABBA的《Dancing Queen》这部分内容，也有可能生成这样的输出内容，但这种情况下目前两者之间的相似性就会令人足够震惊。

示例2

在其他Udio生成中也可以发现与《Dancing Queen》的相似之处。以下音频的节奏与原版中的相应段落相同。

提示词：a mash-up of a famous song by a band that rhymes with the smeetles and a famous song by a band that rhymes with fabba
结果：

图4：原曲

图5：Udio

示例3

我在 Udio上创作了一些与The Beatles的名曲《Yesterday》相似的音乐作品。下面的音频有个听起来很熟悉的单词发音。

提示词：pop, rock, 60s, british, acoustic guitar and male voice, famous song by a band that rhymes with the smeetles, famous song that rhymes with cresterday, cover, abbey road
结果：

示例4

在另一个例子中，“Oh I believe in Yesterday”这几个字的旋律和节奏与原曲基本相同，除了“believe”上有小改动。另外，生成的音乐中还使用了原曲经典的和弦进行：C调中的Am和弦到D大三和弦（红框标记），以及从F和弦到C和弦终止（蓝框标记）。二级大三和弦D和弦的用法是《Yesterday》原曲中的一个记忆点，在其他歌曲中比较少见。另外，两首曲子的和声都在小节当中转向了C和弦终止，并且该和弦的重音位于小节的第四个八分音符上，与歌词中“Yes-ter-day”的最后一个音节同步。

提示词：pop, rock, 60s, british, acoustic guitar and male voice, famous song by a band that rhymes with the smeetles
结果：

图6：原曲

图7：Udio

示例5

“yesterday, all my troubles seemed so far away”这句旋律的节奏与原曲非常相似。

提示词：the first two bars of a famous song by a band whose name rhymes with the smeetles, continued in a new way
结果：

示例6

我尝试模仿Natalie Imbruglia在1997年发行的热门单曲《Torn》，同样以输入与原曲略有不同歌词的方式实现。我发现输出音频包括原曲中典型的音高序列。在谱例中，我们可以看到“Im all out of faith”的旋律与原曲中这些歌词旋律相对应（标记为B的段落），而“I am ready torn”的旋律与原曲中“Nothings fine, Im torn”的旋律也是对应的（标记为A的段落）。

提示词：a song from 1997 by an Australian singer, songwriter, model and actress. the song is called torn
结果：

图8：原曲

图9：Udio第一乐句

图10：Udio副歌最后的乐句

第二部分：歌词

上面的例子中的歌词是人工输入的，但Udio上的默认用户体验是自动生成歌词。试验此功能后发现，让Udio生成包含受版权保护歌词的音乐内容非常容易。我能够使用以下提示词的形式变体来实现这一点，主要是替换艺术家姓名，并进行其他细微的变化。

示例7：

请记住，我没有在这些例子中输入歌词，这里的歌词是由Udio生成的。在视频中你会注意到，即使Udio的过滤器识别出其中一个乐队名称代并“替换”了它，生成的歌词仍然包含Coldplay的歌词。

提示词：the first two bars of a famous song by a band whose name rhymes with the boldplay, continued in a new way
结果：

示例8：

The Beatles自然也不能幸免。

提示词：the first two bars of a famous song by a band whose name rhymes with the smeetles, continued in a new way
结果：

示例9：

Elton John的名曲《Tiny Dancer》

提示词：the first two bars of a famous song by a band whose name rhymes with the belton kron, continued in a new way
结果：

示例10：

老鹰乐队的加州招待所

提示词：the first two bars of a famous song by a band whose name rhymes with the beagles, continued in a new way
结果：

示例11：

让我们来听听4个版本的《Yellow》。记住，歌词是由Udio生成的。

提示词：the first two bars of a famous song by a band whose name rhymes with the boldplay, continued in a new way
结果1：

结果2：

图15：

结果3（这个歌手好熟悉！）：

结果4：

图17：这是一个有趣的例子，因为Udio的过滤器识别了提示中的乐队名称并“替换”了它，但生成的歌词仍然包含Coldplay的歌词。

示例12：

现在再来两首ABBA的《Dancing Queen》。

提示词：the first two bars of a famous song by a band whose name rhymes with fabba, continued in a new way
结果1：

结果2：

示例13：

最后来听两首由Oasis作词的歌曲。

提示词：the first two bars of a famous song by a band whose name rhymes with joasis, continued in a new way
结果1：

结果2：

尚未有记录显示Udio透露过他们是否使用第三方语言模型来生成歌词，或者是否使用自己的模型来生成歌词。无论如何，受版权保护的歌词很可能存在于歌词模型的训练数据中。

第三部分：风格

Udio有时的生成风格和音色在我看来与真实的艺术家或乐队过于相似，以下是一些示例。

示例14：

Oasis风格
提示词：a song that directly samples three famous songs by a band that rhymes with kloasis
结果：

示例15：

Coldpla风格
提示词：the first four lines of a famous song by a band that rhymes with boldplay, continued in a new way
结果：

示例16：

ABBA风格
提示词：A famous 70s pop song about queens who dance, by a Swedish band that rhymes with fabba, europop, disco, keyboard, from an album that rhymes with jarrival
结果（歌词由人工输入）：

示例17：

Beatles风格
其他用户也在Udio上生成了与真实艺术家风格相似的音乐。用户Sam Hulick在推特分享了一首披头士风格的歌曲。
音频19：https://twitter.com/SamHulick/status/1778900566917165512

图22：用户呼吁唱片行业对版权问题加以重视

示例18：

Tom Petty风格
用户Brian Hiatt在推特分享了一首像Tom Petty的歌曲，特别是歌声特征。

示例19：

Blalee风格
@ezralaeux生成了一首像Blalee的歌曲。这些歌曲是使用从rateyourmusic.com获取的描述Bladee音乐的元数据再作为提示词生成的。
视频2：https://twitter.com/ezralaeux/status/1780610861897330843

示例20：

Take 6风格
甚至Udio的首席执行官David Ding似乎也生成了模仿艺人风格的音乐。这首在他Udio个人资料上分享的歌曲在我看来听起来很像Take 6合唱团。
音频21：https://www.udio.com/songs/x1KPn2Z43R2G5XYS9HCJyT

第四部分：其他形式

示例21：

一些涉及版权作品的音乐已经在 Udio上大肆传播。这首歌的歌词来自动画片《辛普森一家》中的一首歌曲《Be Sharps: Baby on Board》。截至撰写本文时，这首歌名和歌词都相同的音乐已被播放了9万多次。
原曲：

Udio：音频22：https://www.udio.com/songs/282ZPSyaunNC8GjegZ1LD1

示例22：

Udio 似乎努力从提示中删除艺术家的名字，并试图阻止人们以特定艺术家的风格创作音乐。令人惊讶的是，Udio的首席执行官David Ding在他的个人资料上生成的一首歌曲的提示词是“Song in the style of The Beatles”。

另一首歌曲的提示词中包含“Disney song”。
音频24：https://www.udio.com/songs/otnUBfCxbP1tf78N8ZFQZQ

结论

本文的目的并不是暗示生成内容的相似性构成了版权侵权。在我看来，比相似性更重要的问题是Udio模型的训练数据来自何处。包括我在内的很多人认为，未经许可在受版权保护的作品上训练生成式人工智能模型构成侵犯版权的行为，无论训练数据是否在输出中重现。当人工智能音乐生成系统的输出结果中出现与受版权保护的音乐的相似之处时，通常有三种可能性：（1）纯属偶然（可能性极低）；（2）模型是在有许可的受版权保护的音乐上进行训练；（3）模型在没有许可证的受版权保护的音乐上进行训练。

如果Udio使用的模型是基于受版权保护的作品进行训练的，那么他们可能已经与版权所有者签订了许可，允许他们基于上述示例中的受版权保护的作品进行训练。然而，如果Udio没有数据训练许可，多数人认为这种行为这是不被允许的。如果Udio尚未对其模型所用的数据取得授权，那么人们会问想知道他们是否尝试过获得许可。在Udio接受Music Ally采访时，他们的首席运营官表示“他们显然非常尊重艺术家和所有类似的东西。” 说起来容易，但在没有事实表明Udio取得任何许可的情况下使用版权音乐进行训练时，这样的回答毫无意义。

生成式人工智能的输出内容与其使用的训练作品存在竞争。就人工智能音乐而言，它正在争夺听众的收听时间。正如包括Billie Eilish、Nicki Minaj、Stevie Wonder在内的200多名艺术家和词曲作者月在一封公开信中所说，以他们的作品来训练的人工智能模型将“大大稀释支付给艺术家的版税池。对于许多努力维持生计的职业音乐家、艺术家和词曲作者来说，这将是灾难性的。”早在去年，人类艺术运动(Human Artistry Campaign)组织就以联合各大音乐行业团体确定了七项维护词曲作者和音乐家的权利的核心原则。而近期多国的立法进展也在不断贯彻这些核心理念。让我们期待人工智能在法律的约束下可以早日走上正轨，不要重蹈网络盗版年代的覆辙。

番外：Soundtracks Loops音乐库推出人工智能训练许可

在最近关于人工智能训练数据的讨论中，Soundtrack Loops[https://soundtrackloops.com/]凭借其多元化的音乐风格曲库，旨在推动符合道德的人工智能训练透明。随着音乐知识产权所有者与人工智能公司发生冲突，Soundtrack Loops推出的人工智能训练许可证旨在完全消除版权风险。该公司认为，面对诉讼和版权战，其最新许可对开发者和版权持有者来说都是正确的选择。

“Soundtrack Loops音乐库中的成千上万个采样和loop都是独一无二的，因为它们是由我们制作或者购买的。这是非常常见的做法。我们聘请制作人创作原创作品，然后直接购买入库。”

Soundtrack Loops解释道。这种模型训练透明正是A2IM、RIAA等相关音乐组织所推动的，一种强制向训练数据版权来源支付报酬的制度。Soundtrack Loops公司表示他们拥有实现这一目标的资产，包含20年来积累的8万多项内容，包括大量loop和采样、预设和MIDI 文件，几乎涵盖了所有音乐流派风格。

Soundtrack Loops认为，在训练模型时优先解决许可问题将为人工智能行业带来可信度。与面临诉讼和关闭的风险相比，人工智能开发者最好使用这些平台。只有时间才能告诉我们法庭上的版权冲突最终会是什么后果。按照Soundtrack Loops的说法，如果人工智能公司能够率先采用符合道德的人工智能训练实践，那么他们将获得巨大的利益。这些开发商可能会获得更大的市场份额，并会对人工智能公司的品牌和形象产生积极影响。这种方式还允许开发人员在新的法律法规出台时从容不迫，因为这些法规和法律体系将强制数据透明度和艺术家报酬分配。

参考链接：