违法建筑是由国土资源管理局、城乡规划局、乡、镇人民政府或者住房和城乡建设局负责管理，如果发现违建的，可以向以上其中一个部门举报。当然，只有在符合违建标准的前提下才能认定为违章建筑。
存在《土地管理法》第七十四条、第七十六条和第七十七条规定的违法占地建设情形之一的，国土局可依法作出处罚决定，责令限期改正、治理、停止施工或责令限期拆除在非法占用的土地上新建的建筑物和其他设施。国土局没有强拆权，不能自行强制拆除违法建筑和设施。当建设单位或者个人在诉讼期满不起诉又不自行拆除的，应该依据《土地管理法》第八十三条之规定，申请人民法院强制执行。
1、自然资源主管部门(原国土局)
对于未经批准或者采取欺骗手段骗取批准，非法占用土地建造房屋的行为和在买卖或者以其他形式非法转让土地上建造房屋的行为。对于这种违法建筑是由县级以上人民政府自然资源主管部门认定的。
2、农业农村部
如果村民没有经过批准或者采取欺骗的手段骗取批准，非法占用土地进行建设房屋的，由农业农村局来认定房屋是否属于违法建筑。
3、城乡规划主管部门
没有申请规划许可证或者是申请了建设工程规划许可证后没有根据许可证的内容、范围、时间来进行建设的房屋，此时就由县级以上地方人民政府城乡规划主管部门，也就是城乡规划局来认定是不是违法建筑了。
4、乡、镇人民政府
在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正;逾期不改正的，可以拆除。
5、城市管理综合行政执法机关(城管部门)
城管部门本身没有权利管理违法建筑，但如果城管部门得到了省级人民政府的授权，那它就有权来认定你的房屋是否属于违建。