这项目妙就妙在,能给视频加上手绘风格的涂鸦,可可爱爱的也行,奇奇怪怪的也行。
这对目前市场上大多数的 2D 视频编辑软件来说,还是比较难的。想要达成同等效果,一般还是得创作者真・一帧一帧画上去。怪费力气的。
但 VideoDoodles 能靠在视频中重建 3D 场景,然后在其中放置平面画布,来生成这种效果。
不少人表示,可以用它来装饰视频,加加卡通效果 or 花字,然后进一步加工成 meme / 表情包。
和给鸭鸭加胳膊加手一样,VideoDoodles 可以给任意物种加上四肢。
除了肢体动作,也可以用 VideoDoodles 来给视频片段加综艺后期的花字。
以及,蹭一个刚结束的奥运会的余热,VideoDoodles 可以给各种各样的大幅度运动加手绘。
给视频内容加上手绘动画,现在的惯常做法,是把视频本身作为底层,然后利用人工逐帧绘制 2D 动画效果。
这样做效率相比来说较低,而且需要保证手绘动画效果要跟踪动态、解决透视变形和适配遮挡物。
那么,VideoDoodles 是怎么样处理动态物体的跟踪,还有动画同步的呢?
它提供了一简单的界面来帮大家完成视频涂鸦 ——“简单”,意味着老手和小白都能轻松画起来。
而项目背后,是利用 3D 场景重建技术,实现涂鸦自然融入视频场景,包括追踪、透视变形和遮挡等复杂视觉效果。
具体而言,VideoDoodles 先把视频内容做 3D 重建,而后在视频中放置平面画布,这些画布在 3D 场景中被跟踪,然后逐帧添加手绘动画。
通过自定义算追踪算法,VideoDoodles 锁定画布对应的视频场景中的物体,完成画布跟随物体运动进行移动和旋转。
在 VideoDoodles 的用户交互界面中,用户都能够通过关键帧位置和方向,在 2D 图像空间的 UI 中精细控制画布。
简而言之,VideoDoodles 是根据关键帧表达的用户意图,利用自有算法解决被遮挡、透视变换,在视频的任意帧渲染场景感知画布,并使画布紧紧跟随移动的物体。
如下面这张图,VideoDoodles 就是通过第一帧涂红部分处的方向 & 位置,和最后一帧涂绿的位置,从而在整个视频中连贯地渲染相应的画布。
VideoDoodles 这项研究,由 Adobe 研究院,蔚蓝海岸大学,以及代尔夫特理工大学的研究人员共同完成。
这种新兴的混合媒介艺术形式结合了视频内容和手绘动画,能够适用于娱乐或教育目的。
有了 VideoDoodles,希望更多人能够轻轻松松实现「将想象力注入现实世界」。
本文来自微信公众号:量子位(ID:QbitAI),作者:衡宇,原标题:《AI 斗图神器:普通视频秒变 meme,手绘动画轻松融入,了解一下?》
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更加多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
6.65 亿美元全现金支付,AMD 完成收购欧洲最大私人 AI 实验室 Silo AI
我国完成备案并上线、能为公众提供服务的生成式 AI 服务大模型达 180 多个