Jean de Bernuy était un juif espagnol chassé par l’Inquisition. Il s’est enrichi grâce au commerce du pastel, cette fleur qui donnait une teinture bleue indélébile et devient un des capitouls en 1533. Il fit édifier cette demeure de style Renaissance par l’architecte Louis Privat de 1503 à 1533. Cet hôtel possède la tour d’escalier octogonale la plus haute de la ville avec 26,5 mètres. Abritant tout d’abord le collège des Jésuites de 1567 à 1762, puis le collège royal à partir de 1764, aujourd’hui ce magnifique hôtel de la Renaissance héberge une partie du Lycée et Collège Pierre de Fermat.
Jean de Bernuy, dont la fortune était assise sur le commerce du pastel et confia, en 1503, la construction de son hôtel particulier à Louis Privat. Quoique le chantier se soit poursuivi jusqu’en 1533, le bâtiment reste représentatif de l’art du Moyen-Âge finissant. Il est en brique, mais fenêtres et portes sont encadrées de riches moulures en pierre qui leur donnent du volume. À partir de 1567, le bâtiment abrite le collège des Jésuites, puis, après 1764, le collège royal, devenu depuis le collège et lycée Pierre de Fermat.
