AI时代的视频云转码移动端化——更快、更好，更低，更广

编者按： AI技术的落地是渐渐地从服务器端、云端落地，逐步到移动端及边缘设备上。这些年随着AI技术的进步，轻量级算法模型开始在移动端实时跑起来，并且移动端算法也在不断进行迭代和完善，而对于实时直播场景，也有越来越多的AI算法落地。ZEGO即构科技提出了一套极轻量级AI算法模型，结合移动端硬件特性，差异化优化前馈推理库，让算法模型、推理库、硬件成为一体，使得视频云转码移动端化成为可能。LiveVideoStackCon 2022音视频技术大会上海站邀请到了即构科技的李凯老师，为我们分享产品架构、移动端视频转码、移动端智能视频处理、四位一体网络模型设计以及具体实施Demo。

文/李凯
整理/LiveVideoStack

这是我第二次在LiveVideoStackCon分享，第一次时本人肚子还没有这么大，疫情三年肚子长大了，但我们的模型会变得越来越小、越来越快、效果越来越好，这就是“更快、更好、更低、更广”。

快 —— 速度越来越快，好 —— 效果越来越好，低 —— 耗费很低的码率，广 —— 尽可能覆盖更多的机型。曾经在云端转码遇到大批量的任务，本次探讨在移动端如何处理，分享内容更侧重在移动端如何把任务快速跑起来，把服务器端的事情放在手机端做，对 ToB 厂商的用户来说是非常开心的。

本次分享按以下方向逐一展开：一是 ZEGO 产品概貌；二是要在移动端去做的理由，这是帮助解决客户提出的需求问题；三是在移动端可以做到哪种程度，能不能面对用户提出的苛刻需求，解决客户问题；四是如何解决行业内难题，这是任何一个做音视频厂商、做视频前后处理都孜孜不倦追求的问题；五是简单实验结果分享。

1、产品架构

产品应用方面，会议端的小艺帮主要针对考试类的应用；直播类有游戏直播，KTV唱歌等；方案有社交娱乐、泛娱乐、以及这几年很火的在线教育。目前也会给小艺帮考试类的做应用，不限于在线教育的方案。我们同时会提供基础技术服务，比如视频转码、画质增强、美颜特效、Avatar 元宇宙底层技术、背景分割等。

1.1视频处理

本次分享的重点是视频处理。上图是我们很直观的数据。

在 iPhoneXR 这样的中端机型上，超分辨率 640*480 两倍率做 AI 超分到 1280*960，21ms 可以搞定。同时也测试了安卓机型，大概可以覆盖 2500 款，1000 元以上机型基本能够覆盖。如果机型好一点，超分到 1080p 没有问题，但国家政策鼓励出海去东南亚、印度、非洲。这些国家市场非常大，但最大的现状为使用者大多为千元机以下，这就面临一个很大的难题，千元机难做超分。

去编码速度比超分速度快很多，超分天然的数据量很大，不能把图片缩小，将图片原始分辨率不做改动的情况下放大。去编码效应的优势在原始分辨率上做，处理速度比超分快很多，基本可覆盖千元机。而在印度、东南亚、非洲这些带宽很低的地方，这时做去编码效应比超分，更具实际价值。