First-Order-Motion-Model-for-Image-Animation的应用

缘起

• 大学同学发来了这篇paper和它的repo，测试的模型已十分完善，指路了1.6G的数据集，并且提供了现成的ipynb文件，不需要有像样的机器学习gpu就能在Google的colab上跑，非常人性化

  The IPython Notebook is now known as the Jupyter Notebook. It is an interactive computational environment, in which you can combine code execution, rich text, mathematics, plots and rich media. For more, see https://jupyter.org/

  步骤

1. 首先fork印度神们的repo，在文件demo.ipynb第一个代码块内加上一句

   !pip install PyYAML==5.3.1

2. 下载数据集vox-cpk.pth.tar和vox-adv-cpk.pth.tar
3. 进入自己的Google Drive，根目录下创建名为first-order-motion-model的文件夹，上传两个数据集
4. 准备好两个元数据，一个.mp4视频和一个.png图片，大小都压缩到256px，识别出媒体内同类事物，然后让图片模仿视频运动起来，具体到人脸来说就要限制视频和图片的拍摄角度接近一致，视频最好不要有频繁侧脸转身的动作
5. 将元数据分别命名为02.png和04.png上传到新建的文件夹下，打开Google的Colab，如果已经将Google账号与GitHub账号绑定的话，左上角File->Open应该会自动识别出你所有仓库下的.ipynb文件
6. 然后按顺序依次执行即可，到Perform Image Animation这一步即可，在左栏File生成选项中找到generated.mp4下载即可
7. 生成品应该播放速度比元数据慢两倍以上并且没有声音，自行编辑即可