Lieu d'une séigneurie médiévale, la commune a été occupée depuis la préhistoire comme le prouve une grotte et des souterrains.
Elle est mentionnée dès le XIIe siècle comme étape du pèlerinage de Saint-Jacques-de-Compostelle. Elle accueille alors un hôpital tenu par les chevaliers de Saint-Jacques de l’Épée, ordre créé par Ferdinand II de León et de Galice pour soigner et protéger les pèlerins de Compostelle. L’hôpital fonctionne jusqu’au XVIIIe siècle. Il était situé à Louma tout près de l'actuelle église
Pour en savoir beaucoup plus sur l'importante histoire de Larbey un site fait à partir de l'étude historique faite en 1942 par l'Abbé Raphael Lamaignère curé à Saint Aubin =>