Labrit était le centre de la seigneurie d'Albret, fief de la Maison d'Albret, dont sera issu Henri IV.
A voir l'oeil de Grué, au sud du bourg un trou mystérieux, une légende attachée à ce lieu dit que les sorcières s'y réunissaient . Considéré comme un trou sans fond que personne n'aurait sondé celui-ci aurait ensevelli des attelages et des bros.