你动、蒙娜丽莎跟着一起动,OpenCV这么用,表情口型造假更难防了

OPEN编辑 3个月前

  有没有想过让蒙娜丽莎跟着你的表情动,来一番亲切的交流?

  Aliaksandr 的一阶运动模型(First Order Motion Model)可以实现,但是实现过程非常复杂且繁琐。

  一阶运动模型功能强大,可以在未经预训练的数据集上对图像和视频进行特效生成,但代价是安装配置比较繁琐。

  能不能简单一点,再简单一点?

  印度一位程序员阿南德·帕瓦拉(Anand Pawara)设计了基于 OpenCV 实现的实时动画特效。

  毕竟 OpenCV 是成名已久的跨平台视觉库,是事实上的计算机视觉领域的标准库。

  项目中涉及的人脸识别、动作识别和运动跟踪,均在 OpenCV 库中原生支持。

  几天前,阿南德在 GitHub 上开源了完整代码,并给出实现具体过程。

  走过路过,不要错过。

  安装过程

  1、安装依赖模块

  安装依赖模块:

  安装 pytorch 1.0.0 :

  2、下载配置文件(如果不能下载,文件链接在文末)

  3、运行程序

  运行文件 :

  针对摄像头的实时特效生成 :

  针对既有视频的特效生成 :

  如果你想上手试试,只需要调整相关配置文件即可。

  模型分为两种使用模式,一种是较为常规的导入视频常规方法,另外一种就是实时生成视频特效。

  但是,请注意,一定要使用pytorch 1.0.0 版本,因为更高的版本在后端依赖的一阶模型上存在问题。

  按照作者的后续计划,会推出客户端程序,并且会增加假声(deepfake voice)功能。

  立足 OpenCV 的优化

  阿南德所做的工作是简化现有的一阶运动模型(First Order Motion Model),使用 OpenCV 对视频进行特效生成。

  项目的后端支持由 OpenCV 库完成,避免使用复杂的模型,降低使用门槛。

  按照作者观点,使用这个模型只需要对一类数据集进行训练后,便可应用到对其全部事物上去,即具有较好的泛化能力。

  不同于原一阶模型的多个数据集测试效果,现在阿南德实时动态特效模型还只在人脸数据集上进行测试,后续后持续增加其他数据集。

  这个模型的特点是易用,配置非常简单,基本可以开箱即用,即使是训练自己的数据集也会比较简单。

  因为立足于对现有资源进行优化配置,操作简易,功能强大。

  当然,简单也会带来问题,比如现在数据集较为单一,针对的主要是人脸数据集。

  此外,对人脸的轮廓识别效果还不那么令人满意,需要加以改造。

  作者简介

  项目作者阿南德·帕瓦拉(Anand Pawara)是印度 AvenDATA 公司的一名深度学习工程师,现居孟买。

  繁琐的工作自动化,大幅度降低上手的难度。

  完整实现过程连接在下面,如果有兴趣,欢迎自己去试试哟~

  参考链接:

  https://github.com/anandpawara/Real_Time_Image_Animation

  https://m.weibo.cn/1402400261/4508119667605445