Le 23 avril 1873, le curé Louis-Antoine Martel obtient de l’archevêque de Québec, Mgr Elzéar-Alexandre Taschereau, la permission d’ériger à Saint-Joseph un premier couvent pour l’instruction des jeunes filles.
Secondé par le protonotaire Zéphirin Vézina, il organise une souscription auprès des paroissiens et le 27 avril la Fabrique donne le terrain et le droit à perpétuité de faire pacager la vache du couvent sur la terre de la fabrique. Le 24 septembre 1873, les fondations sont terminées et l’archevêque préside à la bénédiction de la pierre angulaire du couvent. À la demande du curé, les Soeurs de la Charité acceptent d’en assumer la direction et l’éducation. Elles arrivent le 26 août 1875 et commencent l’enseignement le 14 septembre, sous la direction de Soeur Saint-Roch. Ce premier couvent de pierre et bois est incendié le 31 août 1887.
Sur le même site en 1887-1888, le deuxième et actuel couvent est construit en pierre et brique d’après les nouveaux plans et devis de l’architecte Joseph-Ferdinand Peachy. Bien que maints travaux restent à compléter, les religieuses, sous la direction de Soeur Sainte-Agathe, prennent possession le 1er septembre 1888 du nouvel édifice pour débuter l’année scolaire. Les ouvriers ferment le chantier le 16 novembre et l’inauguration a lieu le 10 janvier 1889.
Maître incontesté de l’architecture éclectique de la période victorienne dans la région de Québec, Peachy utilise le style Second-Empire pour réaliser plusieurs bâtiments institutionnels, dont le couvent de Saint-Joseph, qu’il couvre du toit mansardé caractéristique. L’édifice présente un plan au sol en forme de T avec avant-corps au centre de la façade principale, qui sert de base à une tour surmontée d’une flèche pyramidale trapue. Un escalier à double volées droites mène à la galerie du bel étage. L’extérieur comporte aussi plusieurs éléments d’intérêt : un rez-de-chaussée au parement de pierre de taille à bossage, grossièrement travaillée sur la façade avant et de pierre des champs sur les autres faces, deux étages à parement de brique rouge et encadrements d’ouvertures en brique jaune d’Écosse et le brisis du toit recouvert de tôle à la canadienne, percé d’une série de lucarnes distribuées symétriquement. Le terrasson du toit est recouvert de tôle à baguette.
En 1968, le couvent accueille son dernier groupe de pensionnaires. Au total le couvent a accueilli 3600 pensionnaires et près de 9000 quart-pensionnaires. En 1974, les religieuses remettent l’édifice à la Fabrique qui est acheté par la Ville en 1975. Pendant quelques années, il est laissé à l’abandon.
La Maison de la Culture
La Ville procède à des travaux de rénovation du couvent et de l’orphelinat en 1983-1984 et un groupe de citoyens supervise bénévolement le travail des prisonniers du centre de détention de Saint-Joseph dans le cadre d’un programme de réadaptation.
Le classement par le ministère des Affaires culturelles du Québec, le 15 octobre 1985 de l’ensemble institutionnel comme site historique permet avec l’aide du ministère la reconstruction de la galerie et du grand escalier monumental du couvent.
Les travaux majeurs de mise aux normes et de réaménagement de tout l’édifice sont effectués en 1992-1993. On y aménage les locaux de la Bibliothèque intermunicipale et de l’école de musique Arquemuse au rez-de-chaussée, ceux du Marius B. Musée aux 2ième et 3ième étages et ceux la Société du patrimoine des Beaucerons et son centre régional d’archives et de généalogie au 4 ième et dernier étage.
La sculpture extérieure Lys de Louise Viger réalisée dans le cadre de l’Intégration des arts à l’architecture est installée en 1993.