Ce trait ajouté à la présence d'un relief plus accusé en fait le lieu priviligié de résidence des autorités civiles, religieuse et militaire de la ville. La "ville basse" au Sud de la vilaine, moins aérée,recèle entre des ensembles construits aux XIXè et XXè siècles, quelques rues anciennes, vivantes, colorées,aux maisons à pans de bois et quelques monuments à l'aspect plus austère. Au Nord-Nord-Ouest, à l'emplacement des anciens faubourgs, les places sont multiples, tantôt vastes espaces ouverts, telles les Lices, tantôt lieux plus intimistes, relièes entre elles par des ruelles pittoresques, ouvrant sur des cours intérieures à loggias et escaliers.

Les anciennes demeures nobles ou bourgeoises alternent avec les maisons à pignon ou à lucarne, la pierre avec le pisé ou le bois. Jusqu'à la révolution la ville marqua son indépendance face au pouvoir royal, les épisodes les plus connus étant, en 1675, la révolte des bonnets rouges qui s'étendit à toute la Bretagne et valut l'éxile du parlement pendant 20 ans à Vannes, et l'affaire qui opposa, à partir de 1765, le procureur général de la Chalotais à l'intendant de Bretagne, le Duc d'Aiguillon. La capitale bretonne, d'où partirent les prémices de la révolution, choisit le parti de la république.