想进军音乐界吗?AI谱曲大师来帮你
2019年09月04日 由 TGS 发表
275838
0
4
从歌词中生成音符序列听起来可能像科幻小说里的情节,但因为AI的存在,这或许并不是梦。在Arxiv.org(“Conditional LSTM-gan for Melody Generation from Linces”)上发表的一篇论文中,东京国立信息学院的研究人员描述了一个机器学习系统,该系统能够学习音节和音符之间的关系,生成“以歌词为条件的”旋律。
“从歌词中生成旋律一直是人工智能和音乐领域的一个具有挑战性的研究课题,AI能够发现学习有趣的歌词和伴奏旋律之间的潜在关系。”论文的合著者写道,“随着现有歌词和旋律数据集的发展,歌词和旋律之间的音乐知识挖掘,将逐渐成为可能。”
音符有两个音乐属性:音调和持续时间。音调是声音的感知属性,它在频率相关的范围内以高或低来组织音乐,而持续时间则表示音调的时间长度。研究人员的AI系统可以把对齐数据与长短期记忆(LSTM)网络结合使用——LSTM网络是一种能够学习长期依赖性的递归神经网络,具有生成性对抗网络(GAN)。部分神经网络由产生样本的发生器和鉴别器组成,能区分生成的样本和真实样本。
LSTM经过训练,可以在音节和单词级别学习联合嵌入来捕捉歌词的突触结构,而GAN随着时间的推移,可以学会在给出歌词的同时预测旋律,同时考虑到歌词与旋律之间的关系。为了训练AI,研究团队编译了一组由12,197个MIDI文件组成的数据集,每个文件都与歌词和旋律对应,其中7,998个文件来自开源的LMD-full MIDI数据集,4,199个文件来自Reddit的MIDI数据集——研究人员将其缩减到20个音符序列,从LMD-full MIDI中提取了20,934个独特的音节和20,268个独特的单词,并为每个MIDI文件提取每分钟节拍数(BPM),然后计算音符持续时间和休息持续时间。
在将语料库分成训练、验证和测试集并将它们输入模型之后,合作作者们进行了一系列测试,以确定预测与歌词、MIDI数字、音符持续时间和休息时间顺序一致的旋律能力。最终的结果报告是,他们的AI系统不仅在“各个方面”都优于基准模型,而且与人类创作的音乐节拍旋律分布也很接近。研究人员在论文中写道:
“在音乐与人工智能的交互领域中,根据歌词谱写动听旋律的技术还没有得到很好的发展。”“利用深度学习技术生成旋律,是一个非常有趣的研究领域,能更加深入了解人类的音乐创作活动。”
今年7月,总部位于蒙特利尔的初创公司Landr为一款分析音乐风格以创建定制音频处理器的产品,筹集了2600万美元,而OpenAI和Google今年早些时候也推出了利用算法生成音乐的在线创作工具。最近,索尼公司的研究人员研究了一种有条件的踢鼓轨迹生成的机器学习模型。AI距离我们的生活越来越近,它不再那么遥远,我们伸出手,指尖便可以触及到它冰冷的温暖。它就是一个孩子,而人类则担任着母亲的角色,热切地期盼它来到人间,并为此付诸努力。