leyucom乐鱼官网创客记丨不懂乐理也能1秒之内完成作曲?南京00后团队用黑科技帮你“玩”音乐
leyucom乐鱼官网创客记丨不懂乐理也能1秒之内完成作曲?南京00后团队用黑科技帮你“玩”音乐这个由一支00后组成的创业团队打造出的AI作曲软件,不仅让普通音乐爱好者有了自我创作的可能,更为专业音乐人提供了高效便捷的技术支撑。此外,这个平台还为由此诞生的原创音乐提供了分享社群以及售卖版权的优质渠道,让更多音乐人实现专业交流以及作品变现的理想。
2019年12月,殷渝杰与好友王越编写了一段“特殊”代码,随即尝试用钢琴弹奏一小段音符,这串代码根据这段音符自动演绎出风格协调的乐曲,二人相视一笑,“这串代码大有可为”。
在随后的无数个灵感喷薄而出的深夜,殷渝杰将这一段随机弹奏的音乐片段分割成多个更小的结构并进行分析,反复研究片段的旋律、流派、音质、和声节奏,并以此为基础不断修改代码。历经一个多月,第一首人工智能音乐终于完成,这让殷渝杰跟王越兴奋不已。
2022年2月9日,殷渝杰和伙伴们发起成立的南京期音科技有限公司注册成立,这一群平均年龄19.8岁的小伙伴们正式开启了自己的“创业旅途”。
期音科技的团队成员分别来自北京邮电大学、天津工业大学、中国音乐学院等国内院校。目前团队已成功研发出核心产品——“伯牙智能作曲平台”。该产品通过人工智能、区块链、NFT等技术打造,是国内少数可实现商用的智能作曲软件,目前已经生成百万级别成熟的数字加密音乐,收录1274 首独家濒临失传的民族音乐。同时,“伯牙智能作曲平台”融入了民族音乐的乐器和乐理规则,提供独有的民族音乐 AI 作曲模型。
这一项目也凭借过硬的技术以及广泛的市场前景获得由教育部主办的第7届中国国际“互联网+”大学生创新创业大赛全国总决赛金奖。
目前,团队顺利获得了新港高投大创基金和国内某一线早期投资基金的天使轮投资,并已与多家高校、科研单位进行合作。
2017年,殷渝杰从自己的家乡——云南峨山(中国第一个彝族自治县)开始了采风,一位80多岁的奶奶给他留下了深刻印象。他记得,老奶奶曾在戏曲团“唱花灯”,虽然声音条件已远不如从前,但开口唱的那一瞬间,还是深深惊艳到了殷渝杰。
可惜的是,“如今,那位老奶奶已不再唱戏,而是操起和山上的大多数村民一样的行当,养猪、种菜。”殷渝杰在采风时了解到,关心民族音乐的人越来越少,而年轻人也几乎不再愿意去接受民族音乐文化的熏陶,戏曲文化面临着无人继承的“危险”。
于是,殷渝杰与王越大量奔走于各地采风,希望尽可能地保留更多的“民族音乐”。香格里拉、普洱、墨江、丽江、德庆......他们走过无数个鲜为人知的小镇村落。然而,经过长期的采风收录,团队发现“仅仅记录和保护是远远不够的,传播和传承成为一个更大的命题”。
殷渝杰觉得,自己不该只做一个爱好者和记录者,“做一个抢救者更有必要”。而民族音乐也不应该只是被保存起来放到博物馆供人缅怀,它可以被每一个人唱出来。要实现这样的目标,就需要一种工具,将“音乐”与“人工智能”相结合,让每一个人能跳过繁冗复杂的乐理,不再因为系统理论缺失、语境缺失而错过创作音乐的美好。
殷渝杰将自己第一次采风记录下来的素材,加入电子音乐的元素,经过审慎的二次创作改编后,上传到网络平台。“发的几首歌曲虽然没成爆款,却在音乐圈获得不错的评价”。
在后来的采风中,殷渝杰和小团队基于各自所长,进行了较为明确的分工合作,并开始系统地进行数据库整理、算法标注等工作。其中,殷渝杰充分利用其在北京邮电大学所学的人工智能专业知识搭建平台,而在中国音乐学院作曲实验班进修的王越则通过其专业的乐理知识帮助团队进行乐理算法开发。此外,来自天津工业大学的陈晨兆阳则负责团队整体商业项目的具体执行。
2019年,殷渝杰团队开始着手设计算法,希望用人工智能的方式帮助传承和再现民族音乐。然而,“智能作曲”在国内外还是一个新兴领域,少有可参照对象。这给殷渝杰团队带来了巨大挑战。
殷渝杰回忆,为了让算法能创造出不同风格的音乐,团队在业内鲜有可供参考的研究成果情况下,从导师那里得到了启发:将音乐看作一段长序列信息,把直接对于音乐数据的处理转化为对于序列信息的处理。
基于此,殷渝杰团队成功完成了对于不同风格的音乐的“学习”,解决了算法模型对于不同音乐风格区分的难题。随后,殷渝杰和小伙伴很快便打造了“伯牙智能小程序”,上线短短几天就实现点击量超十万,月活人数上千。
随后,团队痛定思痛,从用户需求、行业痛点、产品设计等多个维度进行分析,果断转变方向:聚焦于“web3.0”,以人工智能作曲为特色,以区块链为版权保护赋能的版权音乐交易平台,增设功能、发力于社群。
据介绍,“伯牙智能作曲平台”这套由殷渝杰团队独创的乐理算法,为用户设计了三种智能作曲模型。对于普通用户而言,能帮助大家基于各自的情绪,通过输入关键词,甚至是一首诗、一张图片等,甚至不到1秒即可得到想要的歌曲作品。而对专业用户而言,他们也可以通过对歌曲的调性、时长、风格、配速等关键要素“自定义”,从而获得满意的作品。
目前,伯牙智能作曲平台提供两种版权音乐交易模式。一种模式是常规类,根据用户需求,通过在线注册官方认证的音乐制作人为用户提供专业作曲作词服务。另一种则是基于通过平台软件创作的作品,此类作品可以一键生成生成音乐NFT(可收藏的音频文件),借助区块链技术保证信息不可篡改,从而实现线上安全可信的版权交易。
谈及未来的盈利模式,殷渝杰透露,一方面,将考虑以收费的形式将伯牙平台生成的音乐素材分享给B端用户,并联合音乐制作人通过平台打造更完备的曲目数据库。另一方面,增强C端增值服务的同时,未来web3.0版智能作曲平台将对场景授权、音乐上链进行收费以及数字艺术品的售卖等。
2021年,这个智能作曲平台成功拿下第7届中国国际“互联网+”大学生创新创业大赛全国总决赛金奖。
针对市面上的相关“人工智能作曲平台”产品,殷渝杰介绍,团队内部曾做过专门的研究。但在试用了其中大多数产品之后,他们发现,这些平台创造出来的音乐普遍存在着“方差”大的问题,即生成效果不稳定的问题。或许有一首歌听起来是天籁之音,下一首就变成了“呕哑嘲哳难为听”了。
为了解决这个问题,“伯牙”团队在其开发的AI算法模型中引入“先验”的规则,“这也是AI发展的一大趋势”。殷渝杰表示,伯牙团队的优势体现在将传统的乐理规则结合到算法当中。
基于传统乐理规则的算法,做出来的曲子能保证其最低质量,不会让人耳朵不适,但却会面临“缺乏创新”的问题,“听起来可能无甚新意”。而伯牙团队中,负责算法的同学和音乐专业的同学通力合作,巧妙地将人工智能与乐理规则结合,仅用一周的时间便搞清楚了音乐在计算机和传统乐理中表述的区别和共同点,然后基于以上基础,再引入了先验的乐理规则,最终使得“伯牙”作曲质量稳定性大大提高。
对行业的未来发展,殷渝杰认为,当前智能创作领域的技术发展已经达到了可商用的级别。然而,智能创作更大的挑战,除了技术层面需要更加真实、富有情感之外,还有大众对其的认可程度,以及传统音乐行业的竞争等。
“这也是我们团队面临的巨大挑战”,但殷渝杰充满信心。他表示,伯牙团队做人工智能音乐并不是为了代替音乐,而是为了让真正热爱音乐,却又因音乐的高理论门槛,而不得不放弃的人,可以跳过深奥、复杂的理论,凭着一腔热爱去创作并享受音乐的乐趣。
至于项目未来发展,殷渝杰表示,团队希望能够打造一个专注于音乐制作,音乐分享,版权音乐的社群。通过更多的优质原创性的音乐内容吸引音乐爱好者。与此同时,团队也将继续采风,回到民族音乐的源头leyu乐鱼,与民族音乐对谈,帮助更多的人激发出他们内心真正所热爱的音乐活力。