L’ hôtel Bavaria est situé aux deuxièmes et troisièmes étages d’un palais du seizième siècle qui s’appelle Palazzo Ramirez-Montalvo Ce palais de la fin de la Renaissance, construit en 1568 environs, a été attribué à  Bartolomeo Ammannati, l’architecte et le sculpteur de la famille des Medici, et on croit que les décorations gravés sur la façade ont été dessinés par Giorgio Vasari sur un projet iconographique de  Vincenzo Borghini et exécutés par l’ atelier du Vasari avec la collaboration de Bernardino Barbatelli dit le "Poccetti". Les dessins voulaient représenter la vie de l’espagnole Monsieur  Don Antonio Ramirez de Montalvo et ses gestes en honneur de la famille dei Medici, dont l’écusson avec les caractéristiques des six boules sont encore bien visibles sur la façade.

Don Antonio Ramirez de Montalvo fut nominé majordome de la cour que, durant cette époque, demeurait au “Palazzo Pitti”, un rôle d’un grand prestige et d’une  importance  politique considérable.

Le palais fut  de la famille Ramirez- Montalvo pour autre trois siècles jusqu’au dernier descendant la marquise Giulia de Montalvo, une fervente patriote, partisane  des principes démocratiques de la Renaissance. Ses deux fils, François et Ferdinand Matteucci, ont hérité le palais lequel sera ensuite vendu et subdivisé à la structure d’aujourd’hui, qui comprend en dehors de notre hôtel, la Maison de Pandolfini et quelques résidences privées.

De toute son histoire le Palais Ramirez-Montalvo a été loué seulement pour deux occasions: la première fois en 1645 à un nonce apostolique Annibale Bentivoglio, la deuxième et dernière fois un siècle plus tard au baron Philipp Stosch, un fameux espion du gouvernement anglais sous des apparences trompeuses d’un amateur d'arts.

Digne d’attention il est aussi le séjour bref, entre le 1758 et le 1759, du archéologue allemand Johan Joachin Winkelmann qui fut appelé pour estimer les œuvres d'art présentes dans la collection du baron Stosch.