La qualité des offices religieux exigeait l'accompagnement d'un orgue ; dès 1902 celui-ci fut commandé au célèbre facteur Cavaillé-Coll et inauguré en grande cérémonie le 22 novembre 1902, jour de la fête Sainte Cécile.
Les Souvenirs de Mgr Lecœur, publiés par Pierre Aubé, rapportent le récit de cette inauguration :
"La neige a cessé de tomber ; le soleil brille vers midi et met de la joie dans le cœur des enfants. C'est aujourd'hui la bénédiction et l'inauguration de l'orgue.
A quatre heures, Monseigneur l'Archevêque arrive et est reçu par le personnel de la maison (…). Monseigneur s'est paré de son costume de chœur, accompagné de M. Lemonnier, vicaire général et de M. Flavigny, s'avance sous un dais que précéderas notre jeune troupe angélique, pendant qu'on chante le Benedictus.
(…) Sa Grandeur s'avance au milieu d'une foule pressée (environ cinq cents invités et deux cents enfants) et procède à la bénédiction selon la formule du rituel. Puis elle gagne son trône pendant que M. Dallier, organiste de Saint-Eustache exécute le premier numéro du programme de cette fête musicale.
(…) Après le Salut, Monseigneur remercie les enfants et leur accorde de partir en congé jusqu'au lundi, entre une et deux heures.
(…) A six heures et quart, dîner. Monseigneur répond au petit toast que je lui adresse il le fait avec un abandon et une simplicité qui charme tout le monde : il ne dissimule pas les dangers qui nous menacent ; mais "ce qui est violent ne dure pas", dit-il".
Cette formule apporte un témoignage de plus de l'optimisme de Mgr Fuzet, archevêque de Rouen, aux approches de la loi de séparation, optimisme qui laissait beaucoup de ces diocésains dans la perplexité…