Proyectado por el arquitecto Ventura Rodríguez en 1772, es Monumento Histórico Artístico Nacional desde 1977. La construcción se inició en 1788 aunque, finalmente, del proyecto original sólo se construyó una de las crujías, con una superficie total de 1344 metros cuadrados. Está situado en pleno centro de Madrid, junto a la Gran Vía.

En 1887, el arquitecto Mariano Belmás dirigió unas obras que se acometieron para homogeneizar estéticamente el edificio, sobre todo una parte importante de la fachada, que había quedado inacabada.

Ya en el siglo XX su interior fue adaptado para uso de oficinas hasta que, más adelante, fue cerrado permaneciendo así durante más de una década y sufriendo un grave deterioro. Finalmente, tras una compleja rehabilitación dirigida por Gabriel Allende, alberga desde octubre de 2006, la sede madrileña del Instituto Europeo di Design.