腾讯智影免费在线视频剪辑平台渲染引擎技术

670次阅读  |  发布于2年以前

这几年短视频行业的迅速发展,视频内容生产作为内容生态的重要一环。智影是一个集素材搜集、视频剪辑、后期包装、渲染导出和发布于一体的免费在线剪辑平台,能够为用户提供从端到端的一站式视频剪辑及制作服务。智影已接入多个腾讯系内容生态产品,帮助用户提升视频剪辑效率和成片优质率。背后的技术方案是如何实现的呢,一起来看看 TAVMedia。

背景

这几年短视频行业的迅速发展,视频内容生产作为内容生态的重要一环,逐渐成为内容平台必备基础能力,像手 Q、抖音、快手、视频号等各种内容或社交类产品,都需要音视频编辑能力。除短视频行业之外,AMS 广告对于动态视频需求也愈发强烈,游戏行业对于战报视频也成为刚性需求,比如头部的王者战报、吃鸡战报等等。

但是音视频编辑相关业务复杂度,技术门槛比较高,已成为业务团队最主要的发展瓶颈。从下边的框架图,可以看出视频发布的技术需求非常复杂,最上层用户可以感知的业务能力,比如视频裁剪拼接、音乐或贴纸添加、AI 效果和模板应用等等,而只是冰山浮出水面的一角,要实现这些复杂的视频发布需求,需要设计一个庞大的渲染系统,还要解决大量音视频相关的硬件兼容性问题。

迭代与演进

当前团队的主要成员都是最早微视发布器的骨干,深耕视频剪辑这个领域已有 4 年+,已接入腾讯 40 多款业务目前已对外开源的PAG就是团队的产物,视频剪辑方案也经历了 TAVKit、Light SDK 这 2 个历史版本迭代,最终走到了 TAVMedia。

TAVMedia 是什么

TAVMedia 全平台视频剪辑方案集合了跨平台渲染框架、音视频编解码、PAG 动画工作流、可自定义扩展的滤镜框架、视频生成云服务等能力,新的方案提供了行业领先的动效素材生产工具,动效素材资源商店,有利支撑了业务方海量动效素材需求,当前已为 AMS 模板产量带来了 16 倍的增速,为智影提供了 3500+可复用的素材;TAVMedia 实现了全平台覆盖,包括 Web 端、服务端、移动端、PC 端,并为各端提供了一致性对外接口,除了标准化原子素材格式 PAG,也统一了模板素材、自由剪辑模板的格式,让视频生成服务和特效素材可以在各个业务场景中打通复用。标准化了视频渲染生成服务,为腾讯智影、AMS 等业务服务端渲染效率提升了 3-5 倍,显著降低了服务器成本,在腾讯视频年中运营活动中,实现了仅 1 人天的开发成本就完成了服务对接。

TAVkit

TAVKit 以 Timeline 的轨道结构与渲染链的组织方式来串联了微视内的视频剪辑能力,灵活支持了 AI 特效、PAG 模板、一键出片等需求, 2019 年立项开发,带 UI 的版本 TAVCut 获得腾讯 2020 年上半年卓越研发奖,目前已接入了王者荣耀、手 Q、微视、鹅剪等公司内部业务。但由于 TAVKit 诞生自移动端业务,因此只支持 android、iOS 两端,没有做到跨平台,且同时需要维护 2 套代码。

Light SDK

为了解决视频剪辑方案跨平台的问题,2020 年 Light SDK 应运而生,该方案通过 ECS 系统,灵活组织了这些年积累的 100 多项能力;一套代码应用到移动端、PC 端,减少了代码维护与问题解决的成本;统一了拍摄与视频剪辑方案,该方案比较完美的解决了拍摄上的 AI 能力如何应用到视频剪辑上的问题,只是输入源上一个来自 Camera,一个来自视频画面,当前美摄 SDK、剪映 SDK 都是这种方式,但拍摄与视频剪辑还存在许多差别,简单列举下:

目前手 Q、微视 android 都已迁移到这种方案,该方案提供了可视化的玩法编辑器Tecent Effect Studio,一套玩法可同时应用在拍摄与视频编辑的场景,虽有些资源占用上的瑕疵,但微视与手 Q 这种移动端上的拍摄与后编辑都需要的业务不失为比较好的方案。

TAVMedia

针对 light sdk 里视频编辑和拍摄合并的 ecs 架构导致无法真正对视频编辑进行优化的问题,同时也有不少 web 端与服务端的业务过来咨询视频剪辑的方案,为了真正做到全平台覆盖(支持 Web、小程序和服务端),我们启动了 TAVMedia。在 TAVCut、Light SDK 这 2 个方案的积累下,TAVMedia 做了如下的优化:

针对 web 端和服务端的应用场景,我们做了如下的优化:

上诉点的技术细节,在后续的文章中逐一介绍。

工作流程

除 SDK 之外,我们还提供了可视化的制作工具,设计师只需要在自己最熟悉的动效制作环境 AE 中,设计完成后一键导出成 PAG,包括原子特效与视频模板,并在桌面端提供了效果一致的预览工具,来查看效果与性能,确认 OK 之后,可一键上传到动池素材商店,当然也可以私藏。各个垂直场景在自己动效产能不够情况下,也可以在动池素材商店下单,内外部设计师接单之后用制作工具设计完成后,再上传到各业务的素材管理后端,通过 TAVMedia SDK 渲染导出成 MP4。另外这个视频中所用到的 AI 事件比如游戏事件、AMS 广告事件都前置识别,这样有几个优点:

业务落地形式

SDK

智影是 TAVMedia 第一个落地业务,TAVMedia SDK 为智影带来了:

PaaS 服务

除提供 SDK 外,还可以提供标准化的视频渲染 Paas 化服务,以 AMS 广告业务(之前已接入 PAG 的方案)为例,接入 TAVMedia Paas 服务可以为其带来:

2.平均渲染耗时比减少: 26.67%

Copyright© 2013-2020

All Rights Reserved 京ICP备2023019179号-8