Au cœur de l’ancien Fezensac, le bourg castral de Lavardens est très classiquement établi sur une serre dont l’extrémité rocheuse servait dès le Moyen Age de socle à la résidence ou “salle” seigneuriale. Un mur de ville étoffé de cinq tours quadrangulaires enfermait l’ensemble de ce castelnau caractéristique, dans lequel avait pris place une importante église paroissiale.

Attestée dès les années 1140, la forteresse médiévale, capitale militaire des Comtes d’Armagnac, fut démantelée en 1496 par Charles VIII lors du siège de Lavardens.

L’actuel Château de Lavardens est attribué pour l’essentiel à la reconstruction à l’architecte Levesville pour le Maréchal de Roquelaure, à partir de 1608. Antoine de Roquelaure construit ce château pour abriter ses amours avec sa jeune épouse Suzanne de Bassabat. Il meurt sans avoir terminé sa tâche. Il échoit, par voie d’héritage, aux Rohan. Acheté en 1752 par le Marquis de Mirabeau, puis par la famille de Pins en 1766, le château ne subit que quelques modifications.