利用AI分离歌曲中的人声和伴奏
2019年11月06日 由 KING 发表
460862
0
对于音乐制作人以及任何想使用隔离音频进行演奏的人来说,将歌曲拆分为单独的人声和伴奏一直是头疼的问题。目前有很多方法可以执行此操作,但是过程都很耗时,并且结果通常有很多缺陷。新的开源AI工具使这项棘手的任务变得更快,更轻松。
该软件称为Spleeter,由音乐服务公司Deezer开发。昨天,该公司以开源软件包的形式发布了该代码,并将代码放在Github上,供所有人下载和使用。只需向Spleeter提供一个音频文件,它就会将文件分为两个、四个或五个独立的音轨,称为茎。在专用GPU上运行时,它可以将音频文件分成四个茎,比实时速度快100倍。您可以在下面收听David Bowie的“ Changes”上工作的软件示例。仅有人声和只带伴奏的声音都有一些音频伪像,但总体效果令人赞叹。
[audio mp3="http://imgcdn.atyun.com/2019/11/marvin_gaye_music.mp3"][/audio]
[audio mp3="http://imgcdn.atyun.com/2019/11/marvin_gaye_vocals.mp3"][/audio]
技术专家Andy Baio撰写了一篇有关Spleeter的博客,其中包含许多例子。Baio表示,该软件产生的孤立人声有时会获得机器人自动调整的感觉,但相对于其他解决方案,其效果已经很逼真了。”
下面是Baio生成的示例,其中Spleeter在Marvin Gaye的“ I Heard”上运行。
[video width="360" height="360" mp4="http://imgcdn.atyun.com/2019/11/videoplayback.mp4"][/video]
该软件功能确实很强大,但需要一些专业的技术知识才能使用它。除非你定期使用Python或Google的AI工具包TensorFlow(用于训练Spleeter)之类的软件,否则必须下载一些程序才能启动和运行Spleeter。而且,必须使用命令行输入而不是更易于访问的可视界面。
Deezer指出,这不是人们第一次使用机器学习来自动执行此类任务,并且该公司之前已经有了许多早期研究的基础。Deezer的首席数据和研究官Aurelien Herault表示:该公司在20000种音乐曲目上使用各种类型的预分离人声对其软件进行了培训。通过此信息,该软件学习了如何隔离轨道本身。
[video width="1280" height="720" mp4="http://imgcdn.atyun.com/2019/11/Using-AI-to-pull-music-apart-into-instruments.-Spleeter-5-stem-recombined-audio-Part1-of-3.mp4"][/video]
Herault说:Deezer本身将Spleeter用于一系列研究应用程序,以帮助改善其流媒体服务。在内部,我们将其用作预处理工具,以完成诸如音乐分类,转录和语言检测之类的复杂研究任务 。
在另一方面,Spleeter也成功的说明了AI工具如何使复杂的创意工作变得更简单。机器学习目前正用于自动执行一系列耗时的任务,从删除图片上的背景到升级旧视频游戏中的纹理。从Adobe的Photoshop到Runway ML之类的新领域,这些工具越来越多地被并入软件。
Deezer说,他们没有将Spleeter变成一个付费工具的计划,但是其他人可以完成和他们同样的工作。对于希望将独立的人声整合到混音中的音乐制作人,或者希望创建自制卡拉OK伴奏音轨的人来说,Spleeter是他们的不二选择。
Github代码链接:https://github.com/deezer/spleeter