Fue construido entre 1653 y 1655 por el arquitecto Juan Maza, como encargo de don Juan de Valencia el Infante. El primitivo edificio era un bello palacio flanqueado por dos torreones con chapitel que daban a la calle de la Almudena y a la del Factor, situadas en el histórico barrio de los Austrias.

Posteriormente, el edificio fue cambiando sucesivamente de manos hasta que, en 1842, los duques de Abrantes lo compraron y encargaron una profunda remodelación al arquitecto Aníbal Álvarez Bouquel, con el fin de acondicionarlo a los gustos aristocráticos de mediados del XIX. Tras esta reforma la fachada pasó a presentar nuevas embocaduras en los balcones y una nueva puerta principal.

Más tarde, el edificio pasó a ser sede del periódico "Correspondencia de España" hasta que, en 1888, sus propietarios lo vendieron al Gobierno de Italia, que estableció en él su embajada. Se procedió entonces a realizar una nueva reforma bajo la dirección del arquitecto Luis Sanz, en la que se derribaron los torreones, se abrió la fachada posterior y se realizaron las pinturas de la planta superior de la fachada principal, tomando el edificio su fisonomía actual.

Hoy en día es la sede del Instituto Italiano di Cultura, la embajada cultural de Italia en Madrid, que promueve las artes y las ciencias italianas, y que organiza anualmente una gran variedad de actividades culturales, como por ejemplo exposiciones, cursos de cocina o conferencias, entre otras.