传统的GAN网络虽然效果不错,但运算量大得难以忍受。本文提出了一种在线多粒度蒸馏方法(online multi-granularity distillation),能够相较于pix2pix和styleGAN能够大幅减少参数量和运算量。
学生模型学习两个教师模型传递而来的知识,一个更宽,即通道数更多,另一个根深,通过添加残差块实现。学生模型不仅通过KD Loss学习两个教师模型最后的输出,还学习了更宽的教师网络的每一层的知识。
因为学生的输出损失是根据自身和教师的输出决定的,因此这一切可以在没有GT个判别器的情况下进行。
方法中的“在线”,指的是网络不是预训练后固定的网络,而是要在指导学生的同时,也要根据与GT的差异更新自身参数。
这种方法有三种好处:
因篇幅问题不能全部显示,请点此查看更多更全内容
怀疑对方AI换脸可以让对方摁鼻子 真人摁下去鼻子会变形
女子野生动物园下车狼悄悄靠近 后车司机按喇叭提醒
睡前玩8分钟手机身体兴奋1小时 还可能让你“变丑”
惊蛰为啥吃梨?倒春寒来不来就看惊蛰
男子高速犯困开智能驾驶出事故 60万刚买的奔驰严重损毁