Este edificio fue proyectado por el arquitecto Pedro Hernández en 1725 para residencia de las religiosas del convento del Santísimo Sacramento, que entonces se encontraba en la misma manzana del barrio de los Austrias. En 2013 fue declarado Bien de Interés Patrimonial por la Comunidad de Madrid.

En 1830, la familia Uceda vendió el edificio a la familia Lezcano y éste fue pasando de generación en generación hasta que, en 1936, Aurora Lezcano se casó con Darío Varcárcel, marqués de O’Reilly, de origen irlandés, y el edificio tomó su nombre actual.

A comienzos de la década de 1980, fue adquirido por el Ayuntamiento y el arquitecto Joaquín Roldán Pascual lo sometió a una profunda reforma, vaciando por completo el interior con objeto de servir para oficinas municipales. Del antiguo edificio sólo queda la fachada principal.