Situé au cœur de la cité, à 100 m de l'église des Jacobins, l'Hôtel de Bernuy est un très bel hôtel particulier, qui fut construit au début du XVIe siècle pour Jean de Bernuy. Classé Monument Historique, l'Hôtel de Bernuy marque la transition entre le gothique (comme à son portail) et le style Renaissance (notamment avec ses superbes galeries à arcades).

En fait, l'Hôtel de Bernuy a presque toujours été un collège ou lycée, universitaire, royal, impérial ou républicain (aujourd'hui il abrite le collège Pierre de Fermat).

Richissime marchant, Bernuy fit fortune dans le commerce du pastel (teinture de couleur bleue) et marqua sa puissance en dotant l'hôtel de la tour la plus haute de la cité (tour octogonale Renaissance avec tourelle d'escalier haute de plus de 26 m). Jean de Bernuy est par ailleurs connu pour s’être porté caution auprès de Charles-Quint de la rançon exigée pour libérer François Ier et pour avoir eu ensuite l’honneur de recevoir le roi.

En semaine, l'entrée dans les cours est libre (première cour avec voûte à caissons finement sculptés et la seconde avec la tour et les galeries extérieures) mais l'intérieur des locaux ne se visite pas. Des visites guidées des cours sont organisées par l'Office de Tourisme.