Beyond重映演唱会1.4亿人背后:云平台视听修复技术正在升级
“永远爱你,家驹”。7月3日晚上,当最后一首《海阔天空》歌声响起时,抖音评论区迅速刷屏,速度快到肉眼看不清,这场31年前的演唱会,在2022年重新浮现,唤起了无数人的记忆。当晚累计观看人次超1.4亿。
一位看演唱会从头看到尾的用户说,Beyond是他的整个青春,直到现在,他也会在KTV唱Beyond的歌。与他青春时代用影碟在电视上看到的画面相比,7月3日抖音版演唱会通过火山引擎画质和音质修复技术,实现了画面更高清,音效更逼真。还有用户说,超清修复后,看到了黄家驹细微的表情和眼中的光。
“整个修复的时长大约是一周左右。”火山引擎多媒体实验室研究员赵世杰说。火山引擎修复技术团队都是90年后出生的,《海阔天空》《光辉岁月》《真的爱你》这些歌他们从小听到大。接到处理Beyond演唱会的旧影像时,他们都很兴奋,希望通过算法尽可能地呈现一个清晰生动的演唱会。据了解,对于有价值的珍贵历史影像,比如老资料片、老纪录片等内容,抖音和西瓜视频将会继续开放免费公益修复。同时,这些得到验证的修复技术也将通过火山引擎应用在其他领域。
修复背后
演唱会修复这件事其实并不算太新鲜,今年4月,也有平台直播过张国荣修复版演唱会。与其他平台相比,抖音Beyond演唱会在修复音频上下了更大功夫。
火山引擎音频技术团队研究员舒晓峰播放了一段修复前后对比的音效。修复前,虽然歌声动听,但时不时会听到滋啦作响的背景音。修复完成后,背景声变干净了。
这背后用到了降噪算法、音频超分算法、响度算法三个音频修复技术。舒晓峰谈到,由于过去的录音设备技术落后,会伴随着有噪声干扰、带宽不足、混响、响度等各种问题,通过这些音频技术,可以修复声音瑕疵。
演唱会修复大部分都是由AI完成的,有小部分需要人工。比如这场重映演唱会其实由2部分组成,一部分是“Beyond Live1991生命接触演唱会”,另一部分是纪念音乐会精选内容。两部分演唱会音量不一样,如何把它们合二为一,让听众听不出差别,就需要手动调试,避免出现前面的一部分演唱会声音小,后面一部分演唱会声音大的问题。
“音质修复之前关注相对会更少点,我觉得未来音质的修复也会流行起来。”舒晓峰说,如果算法效果足够好,能把任何一个音质差的音频,能变成一个音质特别好甚至达到录音棚录的质量,这将对用户产生很大价值。
除了音频修复,视频画面修复也必不可少。画质上,本次修复通过清晰度增强和瑕疵修复、分区域色彩亮度增强等算法,处理早期软硬件设备落后导致的问题。视频分辨率从不足540p提升到接近4K水平,帧率从25fps提升到60fps。
在Beyond演唱会之前,火山引擎修复能力就已经存在。作为6亿日活用户的平台,抖音上会有一些用户拍摄设备不太好,其实就类似于老片修复场景,视频上传到抖音后,视频清晰度、色彩、瑕疵、失真等都会有一些自动的修复。
与其他视频相比,演唱会修复的难点在于,它有更多人物的近景、远景,包括一些舞台、灯光效果,因为歌手会在舞台上不断地动,拾音距离也不断会有一些变化。这就对修复技术提出更高要求。
目前火山引擎已经把演唱会修复技术产品化,通过火山引擎智能处理、音频技术两个产品对外提供服务,可以用到其他的场景或者行业中,也正在提供给字节跳动内部业务及外部客户,提升他们的品质。
对于有价值的珍贵历史影像,比如老资料片、老纪录片等内容,抖音和西瓜视频将会继续开放免费公益修复。
不止音视频
火山引擎的修复技术不止用在演唱会上。实际上,在经典动漫领域,火山引擎也已经实践了修复技术。
去年10月,西瓜视频联合火山引擎表示,未来一年,双方将共同修复100部经典老动画。当时,《哪吒传奇》、《葫芦兄弟》、《黑猫警长》等六部经典动画作品的4K修复版已经上线。截至今年6月,修复好的经典动画已经有71部,年龄最大的是1958年的中国第一部彩色剪纸片《猪八戒吃瓜》,也已经上线。
无论是经典动漫还是经典演唱会,修复技术都用到了火山引擎视频云的能力。目前火山引擎视频云也服务了非常多的行业以及相关客户,包括游戏、电商、金融、教育等各个领域。具体客户包括三七互娱、凯叔讲故事、华林证券、华数等。
赵世杰说,通过火山引擎视频云相关技术,能让视频体积小,但高清。“我们提升视频的画质,让用户有更好的体验,并且提升画质的同时,我们把视频的体积做到最小。这样的话,用户在观看时,他可以用尽可能小的带宽去播放高画质视频,而且也不会带来一些卡顿的问题。”
作为字节跳动旗下的云服务平台,火山引擎还提供云基础、大数据、人工智能、开发与运维等服务,帮助企业在数字化升级中实现持续增长。火山引擎技术起源于抖音的技术实践,具有AI研发实力与大流量产品经验,抖音、头条、懂车帝是火山引擎云的大客户。
去年12月,火山引擎推出“万有计划”,要在未来3年,联合1000家合作伙伴、助力10万家客户实现数字化转型。火山引擎目前已经服务了一些客户,来自互联网、消费电子、金融、汽车、文旅,具体公司包括海尔、美的、中信银行、蓝河乳业、中手游等公司。
火山引擎总裁谭待说,目前云产业仍没有充分发展,火山引擎云产品可以成为解决行业普遍存在的“10万台魔咒”问题的一部分,让每一个企业都上云。“机会非常大,国内云服务市场渗透率依然很低,根据第三方报告,未来客户平均会使用2.6家云。我们整体很有信心。”
任晓宁/文