A ermida de San Isidro está situada nos chamados campos de Carabanchel, em terras que pertenceram a Juan de Vargas, patrão que, segundo a lenda, contratou a San Isidro como poceiro e lavrador, junto ao manancial que o santo fez brotar milagrosamente para dar de beber ao seu amo, e ao qual a tradição popular atribui propriedades curativas.

Carecemos atualmente de documentação que certifique a data de construção da primeira ermida, mas conhecemos os primeiros testemunhos da sua existência, que datam de 1499, graças aos livros de visitas eclesiásticas conservados na paróquia de San Andrés.

Em 1528, a imperatriz Isabel de Portugal, esposa de Carlos V, agradecida pela cura do monarca e do seu filho Felipe, futuro rei Felipe II, após beberem da água da fonte, ordena construir um novo santuário junto à fonte, em honra a San Isidro Labrador. 

Posteriormente, em 1620, Cristóbal de Urgel ordena levantar uma capela junto ao altar maior da ermida, para servir como sua sepultura e para os seus familiares, assim como o retábulo-mor, a sacristia e outros melhoramentos.

Em 1724, o vice-rei da Nova Espanha, Baltasar de Zúñiga, manda reconstruir o oratório, devido ao estado ruinoso da edificação. Este pequeno santuário, de cúpula hexagonal, coberto de ardósia e coroado por uma clarabóia, foi vítima de um incêndio em 1936, e a Arquiconfraria Sacramental de São Pedro, São Andrés e São Isidro ocupa-se da sua reconstrução entre 1940 e 1941, seguindo o modelo de 1724.

No dia 15 de maio, dia do santo patrono da capital, San Isidro Labrador, oficia-se a tradicional missa campal na esplanada vizinha à ermida, a que cada ano assiste um número crescente de pessoas. Os madrilenos comemoram esta data com uma romaria nos arredores do santuário, merendando com familiares e amigos, e bebendo a água da sua fonte milagrosa , venerando as relíquias do santo e celebrando diversos atos litúrgicos. Esta é considerada uma das verbenas mais populares e castiças de Madrid.