La chapelle est le seul édifice conservé du château du XVIIe siècle rasé entre 1889 et 1891 par son propriétaire Gaston Le Breton, directeur des musées départementaux et riche collectionneur d'art.
Le château est reconstruit par l'architecte Lucien Lefort jusqu'à fin 1898. Il accueille dès lors les collections d'art de Gaston Le Breton et devient vite un lieu de rencontre pour le monde des arts.