Au début du 19e siècle, la région de Québec connaît un essor économique sans précédent grâce à ses chantiers navals et au commerce du bois avec l’Angleterre. Plusieurs riches commerçants, appelés les « barons du bois », établissent leur chantier dans les anses de Sillery et se font construire d’opulentes villas sur de grands domaines aménagés en haut de la falaise. C’est le cas des frères d’origine irlandaise George et Henry Pemberton qui possèdent un chantier à la Pointe-à-Puiseaux. Ils achètent un terrain vierge à proximité en 1833 pour y ériger une résidence secondaire qui ne verra finalement le jour que vers 1843. En 1848, en raison du déclin du commerce du bois, les Pemberton se départissent du domaine au profit du notaire Errol Boyd Lindsay qui nomme le lieu Sous-les-Bois en raison des grands arbres qui entourent la villa.

En 1869, Lindsay met en vente son domaine. C’est l’abbé Joseph-Honoré Routhier qui l’acquiert, grâce à un généreux donateur anonyme, pour en faire don le jour même aux religieuses de Jésus-Marie, déjà installées à Lauzon, en contrepartie de l’édification d’un collège pour l’instruction des jeunes filles. C’est la première de plusieurs communautés religieuses à venir s’établir sur les hauteurs de Sillery. Les religieuses y fondent un pensionnat pour jeunes filles et entreprennent la construction d’un vaste couvent dessiné par l’architecte Joseph-Ferdinand Peachy. Depuis près de 150 ans, le Collège de Jésus-Marie dispense un enseignement privé sur ce grand domaine. Malgré l’incendie qui rase le vieux couvent en 1983, le collège survit et profite depuis, d’installations plus modernes.

La petite villa Sous-les-Bois est encore présente sur le site. Durant le dernier siècle, elle a servi de résidence à l’aumônier, d’école des sciences ménagères, puis de noviciat pour la communauté. La villa est agrandie et rénovée de façon importante en 1952 et est aujourd’hui enclavée dans un bâtiment plus imposant. Elle est toujours reconnaissable grâce à sa toiture en pente, ses trois lucarnes et sa galerie orientées vers le fleuve, comme à l’origine.