网易云音乐鲸云AI为新华社微电影《桥下人家》提供独家智能配乐解决方案

今日,新华社音视频部、新华社贵州分社联合出品的微电影《桥下人家》上线,网易云音乐音视频实验室鲸云AI为该片提供独家视频配乐解决方案,这也是鲸云AI编曲首个在视频配乐场景上的实际应用。

贵州西部的乌蒙山,是典型的喀斯特地貌发育带,沟壑险峻、溶洞丛生,山脉之中的北盘江将云贵两地隔绝开来,长期以来,这给当地村民的出行与安全带来极大困扰。而“世界最高桥”北盘江大桥的建成通车,使得天堑变通途,不仅打通了村民们的出山路,更拓宽了当地村民发展致富的思路和门路。微电影《桥下人家》便取材于当地真实的人物和事件,以主人公小马哥和其他村民的亲身经历来表现北盘江大桥的建设给当地村民带来的巨大变化,反映出党的十八大以来,党和国家事业取得的历史性成就与变革。

影片中小马哥的人物原型为贵州省六盘水市水城区都格镇龙井社区村民马选军,片中其他人物如羊倌、幺妹等也均由当地村民本人本色出演。

据了解,由于网易云音乐音视频实验室的AI编曲能力可以实现高匹配、快响应的AI编曲创作,与《桥下人家》这部作品时间紧、任务重的后期制作要求不谋而合。网易云音乐鲸云AI针对配乐难点提供了独特的AI创作解决方案,通过影片小样、文字脚本理解视频内容,搭配与视频情节、人物情绪、环境氛围契合的音乐,包括关键帧的卡点、进出场以及转场的音乐裁剪等。

在技术实现中,鲸云AI配乐技术运用视频帧率检索技术,对视频中的动态差异较大的相关段落进行精准标记,以此确定关键时间节点,通过时间点的串联来确定视频整体的动态曲线。之后根据视频的标签主题来定位视频整体调性,也包括情绪的大致范围,加上之前所得的视频动态曲线,结合定位出该视频配乐的音乐复杂度曲线。之后运用AI伴奏技术,输入确定好的主题,自动渲染出与该主题适合的BGM。

以微电影《桥下人家》AI配乐为例,该BGM充分考虑了影片情节的动态发展和人物的情绪变化,加入音乐复杂度曲线之后,还通过修改配器、旋律、和弦、节奏、风格等元素达到与影片贴合匹配的效果。

由于机器端到端一键生成总有不够完美之处,AI伴奏的编辑界面还为创作者提供了实时修改编辑和弦进行、旋律线、节奏等功能,甚至提供多达数十种不同的音乐风格来实时渲染原始曲目,该界面的简易模式更支持通过拖拽音乐复杂度曲线来完成自定义编辑。

作为一个年轻化的团队,网易云音乐音视频实验室的多数成员均来自海内外知名高校和实验室。团队自成立后便基于音乐AI领域的需求,在技术上不断深耕,布局覆盖音乐内容分析、自动编曲、AI编曲、歌声合成、歌声美化、音视频互动等。此前,在国际音频检索领域的顶尖赛事MIREX中,网易云音乐音视频实验室凭借“旋律抽取”技术夺得冠军并刷新了世界纪录,其提出的“鲁棒”指纹算法方案也已成功上线,为网易云音乐所有业务提供稳定的声纹识别服务。而《桥下人家》影片原声配乐属于智能音乐生产的大领域,通过本次与新华社的合作实践,团队也探索到了音画互动的编辑交互逻辑,更加激励团队成员创新性地完成一些技术的搭建与沉淀,为后续更多有价值的应用场景提供难得的探索机会。

作为中国最大的音乐社区和最受年轻一代喜爱的音乐平台,网易云音乐一直致力于带给用户最好的音乐播放体验。未来,网易云音乐将持续优化平台音乐内容生态和听歌品质,让用户尽情感受音乐之美。