Comment faire si le repreneur veut construire une maison sur l'exploitation ?

Nous avons un couple de repreneurs potentiels pour notre élevage laitier. Ils souhaitent construire une maison de fonction. Il semble y avoir un refus de principe en évoquant le fait qu’il existe des maisons sur place : le logement de ma mère et trois gîtes appartenant à ma sœur et à nous. Nous ne souhaitons pas vendre les gîtes. Que dit la loi ?