Situado sobre el solar del antiguo palacio de los Duques de Osuna, al lado del Jardín de las Vistillas, este edificio es obra de los arquitectos Miguel de Olabarría y Ricardo García Gueret, que comenzaron su edificación en 1901. Destaca por ser una de las construcciones neomudéjares más interesantes de Madrid, tanto por su volumen, que recuerda a la arquitectura militar, como por el tratamiento de las fachadas de ladrillo visto con juegos de grandes vanos. 

El edificio, levantado sobre una planta rectangular, cuenta con torreones sobre las esquinas y una torre de ingreso en su fachada este. Se distribuye simétricamente en torno a dos patios también rectangulares. El cuerpo central, que separa ambos patios, lo ocupa la iglesia. Ésta tiene una planta en forma de cruz latina y consta de una sola nave. El seminario fue terminado por García Guereta y Juan Moya, tras el fallecimiento de Olabarría en 1904, quedando inaugurado finalmente el 23 de octubre de 1906. En 1977, el edificio se inició el proceso para ser declarado Monumento de Interés Cultural.

Actualmente, además de ser la sede del seminario de la archidiócesis de Madrid, también alberga la Facultad de Literatura Cristiana y Clásica San Justino de la Universidad Eclesiástica San Dámaso.