搜索
您的当前位置:首页正文

FaPN: Feature-aligned Pyramid Network for Dense Image Prediction

来源:独旅网

        本文基本上就是在FPN基础上加了两个模块,一个FSM,用了选择特征,一个FAM,用来对齐特征。

        

        在FPN中,上采样块会结合降采样网络中间层的feature map,但实际上,同意特征在这同一分辨率的两幅图中可能并未对齐。作者便提出了FAM模块,利用可变形卷积,将特征对齐。

        虽然文中先讲了FAM,但个人认为应该先将FSM,毕竟FSM的输出是FAM输入的一部分。

        相较于FPN用1X1卷积选择通道,FSM通过fm判断每个通道的重要性,然后调整吗,每个通道的数值,并通过残差连接和通道原始数值相加,最后再通过fs这个1X1卷积筛选通道。

        

        而FAM读取上采样块的输出和FSM的输出,将两者拼接(用np的cat函数),并做一个3X3卷积,得到一个Offset图像,再将这个offset和Pi一起输入到一个可变性卷积中,将特征对齐并卷积。可变形卷积的详细解析见链接:,大概功能是卷积核输入不再是相邻的NXN个像素,而是在NXN基础上,根据offset,对每个输入点进行位移,获得其他位置的像素信息,并卷积。

        而本文通过不断地训练网络,就能让其中的普通卷积捕捉到两幅图像未对齐的部分,并生成offset,再通过这个offset进行对齐。

 

 

因篇幅问题不能全部显示,请点此查看更多更全内容

热门图文

Top