Il s'agit de l'église de l'ancien couvent de San Hermenegildo, fondé en 1586 par fray Nicolás de Jesús y María, plus connu sous le nom du Carmel Descalzo, pour avoir été habité par les religieux de cet ordre.

L'édifice primitif, dont l'église avait été édifiée en 1605, fut démoli au début du XVIIIe siècle et en 1730 on confia à Pedro de Ribera la construction de l'actuel monument, achevé en 1748 par José de Arredondo et Fausto Manso. Il s'agit d'une église typique du baroque madrilène édifiée en forme de croix latine avec une nef centrale et deux collatéraux.

Sur la façade, bien dans le style de Ribera, on retrouve une niche centrale avec une statue de Notre-Dame-du-Mont-Carmel exécutée par le sculpteur français Robert Michel. La façade originale a été modifiée en 1912 par l'architecte Juan Moya et Idígoras, qui l'a agrandie sur les côtés et en hauteur pour l'adapter aux proportions du presbytère voisin, construit aussi en cette période à l'occasion de l'ouverture de l'avenue Gran Vía.

En 1836, avec le désamortissement de Mendizábal, les religieux carmélites furent expulsés et aussi bien le couvent que le temple se retrouvèrent vides et inutilisés. Après avoir abrité pendant quelques années la direction de l'administration militaire, le couvent fut démoli et le théâtre Apolo fut érigé à la place, puis remplacé par le bâtiment du Banco de Vizcaya. En ce qui concerne l'église, elle devint dès lors le siège de la paroisse de San José, fonction qu'elle occupe encore actuellement.