Fondée par Philippe III au début du XVIIe siècle, il s'agit d'une église unique à Madrid en raison de sa forme en ellipse et parce qu'elle est entièrement peinte à fresque. Aujourd'hui, la Real Hermandad del Refugio y Piedad de Madrid est la confrérie chargée du culte et d'organiser les visites du lundi au samedi matin.

Au début du XVII^e siècle, Philippe III offre l'église et l'hôpital voisin aux malades et pèlerins portugais qui s'arrêtent à Madrid, ce pourquoi elle s'appela d'abord « San Antonio de los Portugueses ». Quand en 1640 la couronne espagnole perd le Portugal, le temple cesse d'accueillir des sujets portugais et demeure vide jusqu'à ce qu’en 1648 Marianne de Habsbourg le cède aux Allemands catholiques accompagnant l'épouse de Charles II à la Cour. L'église prend alors le nom de « Saint-Antoine des Allemands ».

Dédié à l'origine à Saint Antoine de Padoue, l'édifice actuel fut érigé à partir de 1624 et participèrent à sa construction plusieurs maîtres de l'époque comme Pedro Sánchez, Francisco Seseña et Juan Gómez de Mora. Sa décoration intérieure est exécutée en plusieurs étapes par une série de peintres illustres de l'époque, comme Francisco Ricci, chargé de la composition architecturale qui décore la coupole (un exemple emblématique de trompe-l’œil), Franciso Carreño de Miranda, qui a peint Saint Antoine montant vers la Vierge et Lucas Jordán, chargé de repeindre les colonnes des fresques.

Les visites guidées de l'église permettent de découvrir l'histoire de la confrérie retracée à travers l'exposition d'une grande collection d'ustensiles originaux utilisés à chaque époque et d'objets religieux, ainsi que des tableaux et des portraits signés par de grands maîtres, inscrits pour la plupart au patrimoine de la confrérie. La sacristie abrite quant à elle le premier retable de l'église et d'autres œuvres d'une grande valeur artistique.