Le presbytère est le joyau de l’ensemble institutionnel de Saint-Joseph. Comme bien d’autres édifices de la fin du X1Xe siècle, ses éléments décoratifs sont de plusieurs styles architecturaux en vogue à cette époque. Georges-Émile Tanguay innove avec un décor de style néo-renaissance française.
Il signe son bâtiment en le coiffant d’une toiture haute à quatre versants tronquée formant terrasse et de lucarnes à pavillon. Les façades côté ville et côté rivière sont identiques, par souci d’intégration à l’environnement architectural existant lors de sa construction. Les murs extérieurs sont de brique rouge de Sherbrooke et de pierre de taille grise de Deschambault formant des chaînes d’angle. La galerie couverte s’étendant sur trois faces, au rez-de-chaussée, souligne l’horizontalité renaissante de l’édifice. La richesse et la profusion des éléments décoratifs et architecturaux, tels les frontons couronnés de fleurs de lys, décorations en fer forgé, lucarnes rondes, frises, et linteaux de fenêtres en pierres de taille en forme de larmier, font du presbytère un château français en miniature.