La construction de l’enceinte n’implique pas l’absence d’habitat hors les murs. Victeur le premier évêque attesté, construit au V^e siècle "la basilique des Apôtres" extra muros. Cette basilique se trouvait sur la rive droite de la Sarthe, près du pont Perrin. Peu à peu, un habitat vient s’appuyer au pied de la muraille, côté intérieur mais aussi extérieur. De récentes fouilles ont montré qu’au XII^e siècle, la muraille était déjà franchie pour la construction de voies et d’un riche habitat aux abords de la cathédrale jusqu’au site antique des thermes. Un siècle plus tard, l’agrandissement de la collégiale royale de Saint-Pierre-la-Cour et du chœur de la cathédrale Saint-Julien nécessitent également le dépassement du mur. Le chœur de la collégiale sera fortifié tandis que celui de la cathédrale est simplement enserré d’une palissade de bois.

Ce n’est qu’aux XIV^e-XV^e siècles, devant les menaces anglaises du début de la guerre de Cent Ans, que de nouvelles enceintes ont été construites pour renforcer certains points faibles des défenses de la ville (cathédrale, évêché et château) et protéger certains faubourgs (Saint-Benoît et Tanneries).