Au cœur de la garrigue, à plus d’une heure de marche du village de Saint-Guilhem, Jean Albe – laïque originaire du diocèse de Lodève – construisit, au XIVe siècle, un humble ermitage auquel fut donné le nom de Lieu-Plaisant. Sur le domaine de l’Abbaye de Gellone fut construit en 1336 une modeste chapelle dédiée à la Vierge Marie afin d’y pratiquer la vie solitaire. Cette construction fut suivie au XVIIe siècle par l’édification de la maison des ermites. Désireux de donner à son œuvre cette stabilité qui devait en assurer la perpétuité à travers les âges, il demanda au Pape Benoît XIII la permission d’y élever un autel sous le vocable de la Sainte-Vierge.

De cette fondation subsiste sans doute l’église. L’ermitage fut jusqu’à la Révolution sous la direction de l’abbaye de Saint-Guilhem.

La maison des ermites, qui fait un même corps avec l’église, ne remonte probablement pas au-delà du XVIIe siècle. L’ermitage est vendu à la Révolution à Joseph-Victorien Pons. Puis avant 1855, à la famille Capion de Pignan. Par la suite, l’ermitage est toujours régulièrement fréquenté par les paroissiens et plusieurs ermites s’y installent au cours du XIXe siècle.

Aujourd’hui encore, l’ermitage accueille deux processions traditionnelles. La procession du lundi de Pâques, appelée « pèlerinage de la Saucisso (ou de la saucisse) », est le fruit d’une promesse publique faite en 1628, alors que la peste ravageait le pays. La procession du deuxième Dimanche d’octobre, appelée « pèlerinage de las nougas (ou des noix) », remonte à 1724, lorsque les villageois invoquèrent la protection de Notre-Dame contre les inondations du Verdus, qui traverse le village de Saint-Guilhem.

Depuis 2018, la chapelle de Notre-Dame de l’Ermitage fait l’objet de restaurations, avec le soutien de la Fondation du Patrimoine et la Fondation Stéphane Bern. D’autres mécènes tel que la Sauvegarde de l’Art Français ainsi que les Vieilles Maisons de France œuvrent pour la sauvegarde de cet édifice.