Foi construído entre 1653 e 1655 pelo arquiteto Juan Maza por encomenda de D. Juan de Valencia, O Infante. O edifício primitivo era um belo palácio franqueado por dois torreões com capitel que davam para a rua de La Almudena e do Factor no bairro histórico de Los Austrias.

Posteriormente, o edifício foi mudando sucessivamente de mãos até que em 1842 os duques de Abrantes o compraram e encomendaram uma remodelação profunda ao arquiteto Aníbal Álvarez Bouquel para que ficasse ao gosto aristocrático de mediados do XIX. Depois desta reforma, a fachada passou a apresentar novas varandas e uma nova porta principal.

Mais tarde, o edifício passou a ser a sede do jornal "Correspondencia de España" até que em 1888 foi vendido pelos proprietários ao Governo de Itália que instalou nele a sua embaixada. Então foi iniciada uma nova reforma sob a direção do arquiteto Luis Sanz, na qual foram derrubados os torreões, foi aberta a fachada posterior e foram executadas as pinturas do andar superior da fachada principal, ganhando o edifício a sua fisionomia atual. 

Hoje em dia é a sede do Instituto Italiano de Cultura, embaixada cultural da Itália em Madrid, que promove as artes e as ciências italianas e organiza anualmente uma grande variedade de atividades culturais, como, por exemplo, exposições, cursos de culinária e conferências.