Auguste Modeste Leplay naquit le 14 Juillet 1821 à Sainte-Hèlène-Bondeville près de Fécamp, dans une famille d'agriculteurs, qui avait déjà vu l'éclosion de plusieurs vocations religieuses. Orphelin à l'âge de douze ans, il fut mis en pension à l'Institution ecclésiastique d'Yvetot, qui bénéficiait alors d'un grand rayonnement régional. Auguste Leplay y fit de bonnes études, qu'il poursuivit par la préparation au sacerdoce. Il fût ordonné prêtre en 1845 et il demeura à Yvetot comme professeur de mathématiques et de sciences sous l'égide du célèbre professeur de cette institution que fut l'abbé Robert, ancien ingénieur du Génie maritime, qui dressa les plans de nombreux édifices religieux du diocèse et avait aidé l'abbé Join-Lambert à construire les bâtiments de Bois-Guillaume.
Lorsque la santé de M .Join-Lambert déclina, l'abbé Leplay fut envoyé pour le seconder lors de la rentrée de 1856. Il fut de ceux qui l'assistèrent dans ses derniers moments et deux mois plus tard, il fut chargé par l'archevêque de Rouen de lui succéder. La direction qu'accepta l'abbé Leplay était une sorte d'intérim entre l'oncle et le neveu, qui encore mineur, demeurait sous la tutelle de son père ; une position inconfortable qui nécessitait beaucoup de tact et de désintéressement.
L'abbé Leplay prit à cœur ses fonctions. Dès 1858, il prit l'initiative d'ouvrir un externat pour les petites classes dans un immeuble situé 10, rue d'Ernemont à Rouen ; la demande de nombreuses familles avait dictée cette décision, qui préfigurait le transfert de toutes les classes à Rouen à la fin du siècle. Par ailleurs il poursuivait les constructions entreprises par l'abbé Join-Lambert et il lança même en 1870 celle de la chapelle toujours avec l'aide de l'abbé - devenu chanoine - Robert.
C'est alors qu'intervint sa disparition bien imprévisible. Alors que la Prusse en 1870 envahissait tout le nord de la France, il fut emporté le 15 octobre d'une épidémie de variole, alors qu'il n'avait que 49 ans.