C'est par le mécénat de Thimothée Holley, notaire de la ville que le projet de construction d'un temple put être envisagé. Une ordonance royale autorise l'édification d'un temple à Lillebonne en 1840.
Quelques temps se sont écoulés avant que le conseil municipal ne décide du commencement des travaux. L'inauguration a eu lieu le 17 juillet 1860.