Das Gebäude wurde 1653 bis 1655 vom Architekten Juan Maza im Auftrag von Juan de Valencia el Infante gebaut. Ursprünglich war das Haus ein hübscher Palast, flankiert von zwei behelmten Türmen zu den Straßen Calle de la Almudena und del Factor mitten im historischen Stadtviertel de los Austrias. 

Das Gebäude wurde von einem Besitzer an den nächsten weitergegeben, bis die Herzöge von Abrantes es 1842 kauften und den Architekten Aníbal Álvarez Bouquel mit einer umfassenden Renovierung beauftragten, um das Haus an den architektonischen Geschmack von Mitte des 19. Jahrhunderts anzupassen. Nach dieser Reform wies die Fassade neue Fensteröffnungen mit Balkonen und ein neues Eingangstor auf.

Später war das Gebäude der der Sitz der Tageszeitung „Correspondencia de España“; 1888 verkauften es die Eigentümer dann an die italienische Regierung, die hier ihre Botschaft einrichtete. Bei einer erneuten Reform unter der Leitung des Architekten Luis Sanz wurden die beiden Türme abgerissen, die hintere Fassade wurde geöffnet und die Malereien an der oberen Etage der Hauptfassade, die dem Gebäude sein besonderes Erscheinungsbild verleihen, wurden angefertigt. Heute beherbergt es das italienische Kulturinstitut.

Heute ist das Gebäude Sitz des Instituto Italiano di Cultura, der italienischen Kulturvertretung in Madrid. Diese bemüht sich um Förderung italienischer Kunst und Wissenschaft und organisiert jedes Jahr die unterschiedlichsten Kulturveranstaltungen wie Ausstellungen, Kochkurse, Vorträge etc.