Отель "Бавария" расположен на втором и третьем этажах здания шестнадцатого века, носящего имя Рамирез-Монталво. Этот дворец периода позднего Возрождения был построен приблизительно в 1568 году и приписывается работе Бартоломео Амманнати, архитектора и скульптора семьи Медичи в то время как украшения и лепка фасада выполнены по рисункам Джиорджио Васари по проекту Винченцо Боргини и выполнены в мастерской Вассари при сотрудничестве с Бернардо Барбателли. Изображения посвящены жизни испанского дворянина Дон Антонио Рамирез де Монталво и его заслугам перед семьей Медичи, герб которой виден на фасаде. Дон Антонио, родившийся приблизительно в 1500 году, воспитанник Элеоноры де Толедо, жены Козимо Медичи был назначен придворным мажордомом, что являлось престижной должностью большой политической значимости.
Дворец принадлежал семье Рамирез-Монталво еще на протяжении трех столетий до его последнего владельца маркизы Джулии де Монталво, яростной патриотки, пддерживающей демократические принципы.
Два ее сына Франческо и Фердинандо Маттеуччи наследуют дворец, который затем продается и подразделяется под настоящую структуру, которая включает кроме нашего отеля, Аукционы Пандолфини и несколько частных пансионов.
За всю свою историю дворец Рамирез-Монталво сдавался в аренду только два раза: первый раз нунцио Аннибале Бентивольо в 1645 году, и второй раз через столетие барону Филиппо Стош, английскому шпиону, скрывавшемуся под видом коллекционера художественного искусства. Можно отметить также краткое пребывание во дворце в 1758-1759 г.г. немецкого археолога Йохан Йоахин Винкельманн, вызванного для оценки предметов коллекции барона Стош
