如果要拆除违章建筑需要向行政处罚相对人送达行政决定书。
《行政处罚法》第四十条行政处罚决定书应当在宣告后当场交付当事人;当事人不在场的，行政机关应当在七日内依照民事诉讼法的有关规定，将行政处罚决定书送达当事人。
注意以下几点：
一是签收。很多人认为自己不签收，这个处罚决定书对自己就不发生法律效力，这是错误的，现行法律规定，如果你拒绝接收处法律文书，执法人员可以邀请有关基层组织或者所在单位的代表到场，说明情况，在送达回证上记明拒收事由和日期，由送达人、见证人签名或者盖章，把法律文书留在你的住所即视为送达;也可以把法律文书留在受你的住所，并采用拍照、录像等方式记录送达过程，即视为送达。看到没有，没有签收照样可以对你发生法律效力。
二是积极应对处罚决定书。如果你错过了听证程序，也不要紧。对违章建筑的处罚决定书，按照法律规定，自送达之日的第二日起，你可以在2个月内提起行政复议，或者三个月内提起行政诉讼。我们强烈建议你千万不能再错过了，否则事实上政府部门认定你的房屋为违章建筑是违法的，但你要错过行政复议或者行政诉讼这个程序的话，那么政府处罚你错了也变成是对的了。
三是建议聘请律师维权。因为这是一个法律程序，非专业人士驾驭不了。在此，我再次提醒各位拆迁户两点：第一，隔行如隔山。法律不是你在网上或者书店中看到的法律条文，也不是某个权威学者对法律的解读，更不是法律课堂上的理论讲解。甚至可以这样说，同样是律师，如果他不是专业从事拆迁的律师，对拆迁业务来讲，这位律师也是外行，就别说在遇到拆迁的时候临时下功夫苦读熟读拆迁相关法律的拆迁户了。我们每个月都能接触到拆迁户自己照猫画虎式的进行维权到无法操作时向我们求助的情形，更糟糕的是90%以上这种情形我们也无能为力了，原因就是他把法律程序操作的已经不可挽救了，由于时间的原因，我无法一一罗列他们的错误之处供大家借鉴。我只想对这样的人说，不要拿自己的重大利益当儿戏当自己法律水平的试验品。第二，最好聘请外省律师。这个不是外地律师水平高的问题，而是拆迁都是当地政府主导的，当地律师往往会受到干预。如果聘请外省律师就可以很好的避免这个问题。具体聘请外地的哪个律师，我给不了你很好的建议，这个需要你自己选择。
四是只有在处罚决定书发生法律效力时，才可以依法拆除违章建筑。处罚决定书发生法律效力有两种情形：一种就是你不进行行政复议也不进行行政诉讼，过了三个月，处罚决定书就发生法律效力了;另一种是你在两个月内提起行政复议，接着又提起了行政诉讼经过一审二审后就发生法律效力了。只有在这两种发生法律效力的情形下才可以拆除违章建筑，言下之意就是说发现了没有经过审批或者无证的房屋后，不是说拆就拆的，而是要经过严格的法律程序后才可以拆除。