1、县级以上城乡规划主管部门。
城乡规划部门属于法定部门，城市中的违法建筑由该部门主管；有的地方将城乡规划部门和自然资源部门合并称为“规划和国土资源管理委员会”，那么该“规划和国土资源管理委员会有权对违建进行主管。
2、城市管理综合行政执法部门。
城市管理管部门本身没有权利管理违法建筑，但城市管理部门若得到了省级人民政府的授权，则有权要求要求违建所有人自行对违法建筑进行拆除。
3、乡、镇人民政府
根据《城乡规划法》第六十五条
“在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除”的规定，在乡、村庄规划区内的“违建”由乡、镇政府认定。
4、国土自然资源部门
依据《土地管理法》的规定，自然源部门(国土资源部门)有权认定农村的违法用地类违建并作出责令限期拆除的行政处罚决定，但其却不具备实施行政强拆的职权。
一、什么属于违章建筑
1、违章建筑是指未取得拟建工程规划许可证(原址、选址建房意见书)，在规划区以外建设，违反《土地管理法》、《城乡规划法》、《村庄和集镇规划建设管理条例》等相关法律法规的规定动工建造的房屋及设施。
2、法律依据：
《中华人民共和国行政强制法》第四十四条
对违法的建筑物、构筑物、设施等需要强制拆除的，应当由行政机关予以公告，限期当事人自行拆除。当事人在法定期限内不申请行政复议或者提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。
《中华人民共和国城乡规划法》第六十四条
未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。