Jean de Bernuy, juif espagnol chassé par l'Inquisition est devenu un riche négociant grâce au commerce du pastel, cette fleur qui donnait une teinture bleue indélébile. Il fit édifier cette demeure de style Renaissance par l'architecte Louis Privat au XVIe siècle.

Cet hôtel possède la tour d'escalier octogonale la plus haute de la ville. Aujourd'hui ce magnifique hôtel de la Renaissance abrite une partie du Lycée et Collège Pierre de Fermat.