我在链家卖了一个二手房，是顶层赠送露台的，签合同查房子信息没有任何问题，同时也谈到露台违建的问题，不能保证以后政府会不会检查并拆除。买房也清楚这个情况。结果签完合同两周后，政府说登记违建要拆，否则不能过户，我就去找买家商量，结果买家以此为由，坚持要解除合同，我该怎么办？