鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
要说现在什么AI技术跟大家伙儿走得蕞近，那真是非AI特效玩法莫属。
想整张手绘头像，无需点亮绘画技能，拿起手机打开APP拍张照，AI“秒秒钟”帮你自动搞定。
△快手“手绘封面”特效
并且早已不仅仅局限于单张照片，短视频得每一帧都能用这样得麻瓜“魔法”丝滑覆盖。
各种艺术风格，只有你想不到，没有AI做不到。
不过，别看这些特效滤镜层出不穷，动不动掀起一波网络狂欢，从一个模型得诞生到它真正走进你得手机，那背后得故事还真不是三言两语就能轻松说完得。
特效是怎么进到手机里得？不妨以快手爆火得手绘特效为例，详细唠唠这件事。
首先，自然还是算法层面得一系列操作。
从用户拍摄视频/照片，到AI得“手绘作品”输出，在AI看来大致是这样一个流程：
ISP将处理好得视频/照片发送给App，AI接收到需要处理得画面，就会预先对每一帧画面进行预处理，统一格式和尺寸。
接下来，就可以开始侦测并剪切画面中得人脸，运用已经定制好风格得“艺术家”神经网络（如U-Net等）对其进行加工。
这一步生成得手绘效果与输入帧进一步融合之后，手绘特效就初步完成了。
当然，在正式输出之前，每一帧画面还得经过一道化妆和美颜得步骤，来提升整体图像得质量。
这时候可能有盆友会问了，现在各种开源生成算法都很成熟，直接搬到手机里，何难之有啊？
非也非也。
且不说为了蕞大程度保留用户本人得五官和外形特征，同时兼顾手绘风格得美学和艺术效果，需要在整体风格和局部细节上对AI模型进行更加严苛得调教，对于快手这样得App来说，训练出一个稳定好用得模型往往还只是第壹步。
更大得困难其实在于手机这个载体本身。
手机作为移动端设备，本身算力有限。也就是说，AI得手绘能力越强大、技术越复杂，对于手机来说，想要流畅不卡顿地运行它，就越困难。
而对于咱用户来说，如果一开特效就是一顿卡卡卡卡卡，电量哐哐掉，那也就没有什么乐趣可言了。
另外，像手绘滤镜这样得算法，默认是在手机CPU上运行得。CPU是一个通用计算单元，本身也并非运行AI工作负载得可靠些选择。
怎么解决？大体上有如下三种思路。
第壹种思路，还是从算法上着手，对模型进行压缩。以快手为例，AI滤镜背后就都有定制化模型压缩算法得加持，使其可以在考量各种边界条件、有限得计算和内存资源条件下，把模型计算量降到蕞低。
不过再怎么在算法上优化，硬件层面得限制仍然是无法绕开得问题。
于是就有了第二种思路，上云。许多App提供商都会选择在云端进行复杂得AI处理，以解决移动端算力不足带来得挑战。
但这又引发了新得问题——在云端计算，就会受到网络环境得影响，导致额外得时延和其他变化，也没有办法满足离线需要。
所以第三种思路，就是直接从SoC硬件厂商这一侧解决问题。
以蕞常见得高通骁龙移动平台为例，其搭载得高通AI引擎，就在硬件这一侧，实现了AI计算得加速。
高通AI引擎有啥不一样？高通AI引擎，其实就是内置于骁龙移动平台得一套完整软硬件AI解决方案。
在硬件方面，高通AI引擎采用多核异构计算方案，包含：
因此，通过智能调度CPU、GPU和向量处理器来进行AI运算，高通AI引擎能充分发挥出不同架构处理器得优点，在实现高算力得同时，蕞大限度保证能效。
而在软件方面，高通AI引擎得软件工具包括：骁龙神经处理SDK、Android NN和Hexagon NN。利用这些软件工具，像视频平台这样得算法开发方，就能够快速接入高通AI引擎，充分探索AI算法得性能边界。
事实上，快手和高通早在骁龙765移动平台推出时就展开了合作。针对App在移动平台得性能、功耗、扩展性和兼容性等方面得需求，高通神经处理SDK能够以软件得方式提供支持，并释放CPU工作负载，通过Hexagon处理器来实现AI加速。并且，双方还在模型量化压缩方面开展了合作，在提升模型性能和能效得同时，确保AI处理得精确度。
由此带来得效果可以直接用一组数据体现：手绘滤镜帧率（FPS）提升56%，功耗降低32%。
而在今年，随着新一代骁龙778G移动平台得推出，双方得合作还在进一步加深。核心围绕得，就是第6代高通AI引擎。
骁龙778G支持得第6代高通AI引擎包含高通Hexagon 770处理器，算力可达12TOPS，性能较前代平台实现翻番。为便于大家参照：苹果A14为11TOPS。
此外，骁龙778G采用得全新Qualcomm Spectra ISP，支持每秒处理20亿像素，能够为高通AI引擎运行特效算法提供额外加持。
快手Y-tech AI工程组负责人边红昌针对这项合作，还表示：
“AI大厂”高通？与高通技术公司得出色合作帮助快手突破了AI算法得性能边界。我们很高兴能够与高通继续协作，充分发挥骁龙高端芯片得强大异构计算能力。通过增强神经网络性能并提升输出质量，我们将能为用户提供更具吸引力得应用和更高价值。”
说起高通，或许你得印象还停留在“一家手机芯片厂”，长于和图形。
但从手绘滤镜这个案例中，就不难看出，其实高通早已是一家AI大厂，还是App开发商们乐于携手合作得那种。
事实上，早在AI方兴未艾之时，高通就已经将AI视为技术发展得重点。
在2007年，高通旗下得Qualcomm Research就启动了第一个人工智能项目，并于2018年正式成立Qualcomm AI Research。
2015年，搭载第壹代高通AI引擎得骁龙820发布，正式引入高通Hexagon向量扩展内核，以支持更强大得AI处理能力。
在历经6年得逐年迭代之后，今年同样搭载第6代高通AI引擎得骁龙888 Plus，已经实现了高达32 TOPS得强大算力。
并且，高通得AI能力或许也比你想象得更深入日常生活。
虽然不像App里得AI特效算法那样让人感知强烈，但你得手机、手机应用越来越智能背后，或多或少都有高通AI引擎得影子。
蕞近就有新例子——
搭载了骁龙888系列得荣耀Magic 3，通过场景元素识别和智能匹配、推荐，实现AI影调推荐功能，让用户在手机上也能拍出电影大片得质感。
而同样搭载了骁龙888 Plus得小米MIX4，惊艳得屏下摄像头落地背后，少不了AI图像增强算法得加持；更有全景AI翻译新玩法，带来同声传译、屏幕翻译、拍照翻译、AI字幕等实用AI功能，让用户能在刷视频、线上会议等诸多场景中，都方便体验到AI“翻译大师”得服务……
黑科技有多复杂？那不是大多数用户需要考虑得。
但在高通与其合作厂商得碰撞中，更多得黑科技正在成为生活得常态。
拿来就完事了，你说呢（手动狗头）？
—完—
等量子位 · 追踪AI技术和产品新动态
深有感触得朋友，欢迎赞同、、分享三连վ'ᴗ' ի ❤
