Es uno de los pocos ejemplos de arquitectura civil del siglo XVI que quedan en Madrid. Fue proyectada y construida entre 1574 y 1577 por el arquitecto Antonio Sillero para Pedro de Ledesma, secretario de Antonio Pérez.

En 1586 Andrea de Lurano realizó la primera ampliación del inmueble, resultando un caserón de planta rectangular, de dos alturas y un tejado a cuatro aguas rematado por siete chimeneas. De estas chimeneas le viene el nombre a la casa así como de las leyendas que se han originado en torno a ellas como, por ejemplo, la que dice que las siete chimeneas representan los siete pecados capitales o que la casa sirvió de reclusión a una hija ilegítima de Felipe II y que todavía habita allí su espíritu.

En el siglo XVIII su nueva función de residencia nobiliaria conllevó la realización de algunos cambios, como la construcción de un edificio anexo, resultando en conjunto una planta en forma de «L». Durante esta época también fue residencia del famoso Marqués de Esquilache, contra quien el pueblo madrileño se amotinó en 1766.

Desde el XIX ha sido sede de diversos bancos hasta que fue declarada Monumento Histórico-Artístico en 1948 y otra vez reformada en 1957 por los arquitectos Fernando Chueca Goitia y José Antonio Domínguez Salazar. Desde la década de 1980 hasta la actualidad es una de las sedes del Ministerio de Educación y Cultura, siendo declarado en 1995 Bien de Interés Cultural.