Дворец был построен в 1653—1655 годах архитектором Хуаном Масой по заказу аристократа Хуана де Валенсии эль-Инфанте. Изначально по краям этого красивого дворца в старом Мадриде династии Габсбургов со стороны улиц Альмудена и Фактор возвышались башни с пирамидальными шпилями.

Время шло, и здание неоднократно переходило из рук в руки, пока в 1842 году его не приобрели герцоги Абрантес. По их просьбе архитектор Анибаль Альварес Букель провел капитальную реконструкцию дворца, чтобы привести его в соответствие со вкусами знати середины XIX века. После реконструкции на фасаде появились новые проемы балконов и новый парадный подъезд.

Позднее в здании находилась редакция газеты Correspondencia de España, а в 1888 году его продали правительству Италии, которое разместило здесь свое посольство. При этом под руководством архитектора Луиса Санса была проведена еще одна реконструкция, во время которой исчезли башни, открылся тыльный фасад, а на верхнем этаже главного фасада появились росписи — здание обрело свой нынешний вид. 

В наши дни в этом здании находится Итальянский институт культуры – представительство Италии по вопросам культурного сотрудничества в Мадриде, которое занимается продвижением итальянского искусства и науки, а также организацией большого количества культурных мероприятий, таких как выставки, кулинарные курсы, конференции и т.д.