Alors que l'abbé Lecœur prenait en main l'Institution, l'abbé Flavigny dut sentir le poids de la solitude à Bois-Guillaume, il tint cependant à y rester et s 'y fit aménager un pavillon pour y vivre en compagnie de son ami de toujours, l'abbé Fouard. Mais que faire des classes, de la chapelle, du parc ? Une proposition fut vite formulée par les Frères de la doctrine chrétienne de Nancy, désireux d'y ouvrir une école professionnelle, l'acquisition étant financée par une riche bienfaitrice, Mme Lebaudy ; l'acte de vente fut signé dès juin 1900.
Mais le montage juridique imaginé pour préserver l'anonymat de Mme Lebaudy se montra malheureux, car trois ans plus tard, dans le feu de l'anticléricalisme qui s'élevait alors, les Frères, qui ne constituaient pas une congrégation autorisée, furent expulsés et la propriété de Bois-Guillaume mise aux enchères. Sous la menace d'un lotissement, l'abbé Flavigny la racheta en février 1905 ; il offrit alors à Mgr Fuzet, Archevêque de Rouen, d'y accueillir le séminaire de Rouen sur le point d'être expulsé à son tour, au titre de la loi de Séparation de décembre 1905 : cette proposition intéressante échoua, tant en raison des atermoiements des autorités diocésaines que des hésitations de la dame Lebaudy qui avait encore son mot à dire et nourrissait quelques préventions contre le diocèse… En définitive, la propriété de Bois-Guillaume fut reprise en 1907 par l'œuvre des maisons de famille, avant d'être rachetée en 1921, par la Ville de Rouen qui en fit une annexe de son Centre hospitalier.
Quant à l'abbé Flavigny, l'abbé Fouard étant mort en 1903, il vécut encore un quart de siècle dans son pavillon de Bois-Guillaume où il mourut le 6 mai 1925, à l'âge de 88 ans ; il avait reçu entre-temps les dignités de vicaire général honoraire et de protonotaire apostolique. Mgr Lecœur, évêque de Saint-Flour, se déplaça pour ses obsèques et le dépeignit ainsi : " La bonté, on est porté à la considérer comme le trait dominant de ce prêtre. Je me demande pourtant s'il n'y en a pas un plus profond, plus marquant encore : l'amour du devoir ".