Op de plaats van de huidige kapel stond meer dan vier eeuwen geleden een eikenboom met daaraan een klein Onze-Lieve-Vrouwbeeldje. Veel mensen kwamen bij dit beeldje Maria vereren. Prelaat Verbraeken van de abdij wenste daarom een meer geschikte plaats voor het beeld. In 1640 werd de eik verwijderd om er een eenvoudige kapel in rode handgemaakte steen te bouwen. Aan de linkerkant van de kapel bevinden zich de gedenkstenen en wapenschilden van de familie de Trannoy. In de loop der jaren werd de kapel meermaals vergroot. Nadat de kapel in 1975 werd geklasseerd als monument volgde in 1978 een grondige restauratie.
