非常规的DeepFaceLab（DeepFake）小花招和注意事项

DeepFaceLab相关文章

如果你已经从别的地方了解了这些信息可以跳过。
如果没有，在此之前请看看 🔗相关专栏，里面有基础信息和历史版本的变化。

（一）更新放缓的稳定版本

📖官网放出的包停留在🔗2021年11月20日的版本，
如果访问不了可以用下面的磁力链接。

magnet:?xt=urn:btih:e7ffdcb4ada863de9504f2a741f924dcd56ab84a&dn=DeepFaceLab&tr=udp%3a%2f%2ftracker.dler.com%3a6969%2fannounce&tr=http%3a%2f%2ftracker3.itzmx.com%3a6961%2fannounce&tr=udp%3a%2f%2ftracker.blacksparrowmedia.net%3a6969%2fannounce&tr=http%3a%2f%2ftracker2.itzmx.com%3a6961%2fannounce&tr=udp%3a%2f%2fengplus.ru%3a6969%2fannounce&tr=udp%3a%2f%2ftracker.torrent.eu.org%3a451%2fannounce&tr=http%3a%2f%2ft.nyaatracker.com%3a80%2fannounce&tr=udp%3a%2f%2ftracker.zerobytes.xyz%3a1337%2fannounce&tr=udp%3a%2f%2ftracker0.ufibox.com%3a6969%2fannounce&tr=udp%3a%2f%2ftracker2.dler.org%3a80%2fannounce&tr=http%3a%2f%2fretracker.sevstar.net%3a2710%2fannounce&tr=udp%3a%2f%2finferno.demonoid.is%3a3391%2fannounce&tr=https%3a%2f%2ftracker.lilithraws.cf%3a443%2fannounce&tr=udp%3a%2f%2fbt2.archive.org%3a6969%2fannounce&tr=udp%3a%2f%2fopen.stealth.si%3a80%2fannounce&tr=udp%3a%2f%2fcode2chicken.nl%3a6969%2fannounce&tr=udp%3a%2f%2fmail.realliferpg.de%3a6969%2fannounce&tr=http%3a%2f%2ftracker.files.fm%3a6969%2fannounce&tr=udp%3a%2f%2ftracker.0x.tf%3a6969%2fannounce&tr=udp%3a%2f%2fdiscord.heihachi.pw%3a6969%2fannounce&tr=udp%3a%2f%2fmts.tvbit.co%3a6969%2fannounce&tr=http%3a%2f%2fvps02.net.orel.ru%3a80%2fannounce&tr=udp%3a%2f%2fwww.torrent.eu.org%3a451%2fannounce&tr=udp%3a%2f%2fbt1.archive.org%3a6969%2fannounce&tr=udp%3a%2f%2fadmin.videoenpoche.info%3a6969%2fannounce&tr=udp%3a%2f%2ftracker.altrosky.nl%3a6969%2fannounce&tr=udp%3a%2f%2fmovies.zsw.ca%3a6969%2fannounce&tr=https%3a%2f%2ftracker.tamersunion.org%3a443%2fannounce&tr=udp%3a%2f%2fretracker.lanta-net.ru%3a2710%2fannounce&tr=https%3a%2f%2ftracker.nitrix.me%3a443%2fannounce

之后作者还有几次小的更新，可以自己拖git源码更新。
各个步骤和以前差不多，具体更新内容请看作者的描述。
这里不是重点。

（二）技巧汇总

（2.1）常规的技巧

之前的文章提过一些使用技巧，这里仅简短总结一下：

• 视频图片一定要降噪。
• 确认每一帧提取的头像都是正确的
• 重复利用你的模型（即使src/dst都换了）。
• 用更高的分辨率（如果显卡显存运行，分辨率会量变引起质变）。
• 使用适当的合成参数（边缘模糊，大小缩放，颜色转换类型等）。
• 特殊遮挡情况下，自己训练和使用遮罩。

---

（2.2）角度/表情小花招

如果我们提取的data_dst（目标），能识别的面部有角度特别大的，比如大角度抬头低头（俗称死亡角度）。
那么因为data_src（源）很难有对应角度，所以尽管训练次数很多，训练结果也不佳，很不自然。

这时候可以选择：

1. 你自己头像做data_src的，大可再拍一些刁钻角度，丰富后用于训练😄（Really？）
2. 将data_dst/aligned中这些角度特别大的头像图片，拷贝到data_src/aligned中，再进行训练。
3. 直接将data_dst/aligned面部信息放入data_src/aligned进行训练，一定时间后再换成正常的data_src训练。

使用方法2：
这些角度的面部变得自然，但也变得不再是data_src中人的样子了。
不过角度特别大的情况下，其实也看不出来是谁，这时候视频整体显得自然更重要。
同时缺点是你得自己去选哪些照片，还要注意用完后不要混入真正的data_src中了。

使用方法3：
偷懒的办法，也许没有方法2那么自然吧……呃，自己试试：）

---

（2.3）加入噪点更自然

由于机器学习的特点，训练后的脸部，会显得相对平滑。
而视频画面其它位置，特别是电影是一定有噪点的。

两者合成后就会显得不自然。
这时候可以：

1. 合成时选择合适的超分辨率系数。
2. 将data_dst视频帧大幅度降噪，合成后，再用其它视频处理软件加入一定的模仿电影画面的噪点。

这两个方法可以同时用，不是二选一。
比如最近做的这个例子（不知道能看出效果么）：

---

（2.4）确认每一帧的头像

这点在前面其实写过：

1. 确认每一帧只提取了目标的头像，而不是其它人的，或多个头像。
2. 重新手动提取扭曲的/错误的头像。

但是重点来了：⚠️

即使你检查过提取后的头像图片是正常的，也不能完全确认头像正确。
还需要检查识别到头像的每个视频帧。

也就是，你仅仅检查data_dst\aligned里的头像图片是不够的，如下：

还需要检查data_dst\aligned_debug中的每一个视频帧，

检查每一帧的脸部是否正确以外，还需要检查前后视频帧脸部识别情况，是否连贯。
所谓连贯就是前后很相似的视频帧中，脸部检测情况也相似：

如果不连贯，宁愿删掉这些看上去识别成功的。
然后重新手工识别这一段连续的视频帧，这样才能保证最终结果不会闪烁。
PS：比如前后帧一帧胖一帧瘦，五官位置突然移动一下又回来。这种就是识别不连贯。

检查的内容是data_dst\aligned_debug类似下图的绿色脸部轮廓，眼睛，鼻子，嘴巴：

似乎工程量很大，但是清晰的脸部都不会有什么问题。
大部分时间只是浏览图片一遍。

真正需要找到的识别有问题的，可能只有几张。

PS：希望我的表述足够清楚。

---

（2.4）使用LHR显卡的问题

💡 ！！！更新：有报道称N卡522.25版本驱动取消了挖矿限制，所以升级驱动后，应该没有下面的问题了……

托显卡挖矿的福，导致之前很长时间显卡大幅涨价。
价格很离谱，同时严重的消耗了整个地球的能源和半导体，还不产生任何真正的价值。

那时厂商推出的LHR显卡（Light Hash Rate）低哈希运算，也就是锁挖矿能力。

本意是给游戏玩家一条生路。但是在训练时偶然发现……
可能中途导致训练速度变成正常的50%（真是谢谢您，Nvidia，温暖了四季…）。

遇到这种情况可以稍微调低训练参数，比如Batch Size，不要让显卡负载太高（这是咱应该操心的么）。
或者如果没有买30系列显卡的，可以等等，40来了。

PS：不知道40系列上市后，是否DFL也会有30时代的适配问题。