Edificio del segundo tercio del siglo XVIII edificado como residencia del arzobispo y de los cardenales de la Archidiócesis de Madrid, además de albergar otras oficinas eclesiales. Situado en el barrio de La Latina, es de trazado sencillo y escasamente ornamentado, a excepción de la portada situada en el pasadizo del Panecillo, junto a la Basílica Pontificia de San Miguel, sin duda su elemento de mayor valor artístico. Ésta posee rasgos típicos del barroco madrileño, como las características orejeras.

El edificio está construido en tres y cuatro alturas (en función de los desniveles del terreno) y presenta cubiertas abuhardilladas. Las fachadas son enfoscadas, salvo los zócalos, que son de piedra de granito. En el interior se conserva una importante colección de obras de arte. Una de las más destacadas, el arca del siglo XIII donde se depositaron los restos mortales de San Isidro, fue trasladada a la Catedral de la Almudena en 1993, cuando este templo abrió sus puertas.