违法建筑的责任方应负违法责任，施工方的损失应该由责任方全部承担。如果责任方不赔偿施工方，施工方可以到法院起诉。
如果施工方是应甲方要求进行的搭建工程，且在合理的施工方法下，这个是退不了的。如果有问题，直接法院解决。包你胜诉。
如果你们的合同当中没有写明，所有手续是你们承担，你就不用退给他，如果已经写明了，那你就要退给他
