本文基本上就是在FPN基础上加了两个模块,一个FSM,用了选择特征,一个FAM,用来对齐特征。
在FPN中,上采样块会结合降采样网络中间层的feature map,但实际上,同意特征在这同一分辨率的两幅图中可能并未对齐。作者便提出了FAM模块,利用可变形卷积,将特征对齐。
虽然文中先讲了FAM,但个人认为应该先将FSM,毕竟FSM的输出是FAM输入的一部分。
相较于FPN用1X1卷积选择通道,FSM通过fm判断每个通道的重要性,然后调整吗,每个通道的数值,并通过残差连接和通道原始数值相加,最后再通过fs这个1X1卷积筛选通道。
而FAM读取上采样块的输出和FSM的输出,将两者拼接(用np的cat函数),并做一个3X3卷积,得到一个Offset图像,再将这个offset和Pi一起输入到一个可变性卷积中,将特征对齐并卷积。可变形卷积的详细解析见链接:,大概功能是卷积核输入不再是相邻的NXN个像素,而是在NXN基础上,根据offset,对每个输入点进行位移,获得其他位置的像素信息,并卷积。
而本文通过不断地训练网络,就能让其中的普通卷积捕捉到两幅图像未对齐的部分,并生成offset,再通过这个offset进行对齐。
因篇幅问题不能全部显示,请点此查看更多更全内容
怀疑对方AI换脸可以让对方摁鼻子 真人摁下去鼻子会变形
女子野生动物园下车狼悄悄靠近 后车司机按喇叭提醒
睡前玩8分钟手机身体兴奋1小时 还可能让你“变丑”
惊蛰为啥吃梨?倒春寒来不来就看惊蛰
男子高速犯困开智能驾驶出事故 60万刚买的奔驰严重损毁