L'ermitage de San Isidro est érigé sur des terres - jadis connues sous le nom de "champs de Carabanchel" - ayant appartenu à Juan de Vargas, à proximité de la source qu'un humble laboureur qu'il avait à son service avait miraculeusement fait jaillir pour donner à boire à son maître. C'est ainsi que naissait la légende de Saint-Isidore le laboureur et sa source aux vertus curatives, selon la tradition populaire.

Nous manquons actuellement de documentation qui certifie la date de construction de la première chapelle, mais nous connaissons les premiers témoignages sur son existence datant de 1499, grâce aux livres des visites ecclésiastiques conservés dans la paroisse de San Andrés.

En 1528, l'impératrice Élisabeth de Portugal, épouse de Charles Quint, profondément reconnaissante de la guérison du monarque et de son fils Philippe, le futur roi Philippe II, après qu’ils aient ingéré l’eau de la source ordonna la construction d'un nouveau sanctuaire en l'honneur de San Isidro Labrador.

Plus tard, en 1620, Cristobal de Urgel ordonna la construction d'une chapelle près du maître-autel de l’ermitage pour y être enterré avec ses proches, incluant le retable principal, la sacristie et une série d'améliorations.

En 1724, le vice-roi de la Nouvelle Espagne, Balthasar de Zuñiga, ordonna la reconstruction de la chapelle vu l'état de délabrement du bâtiment. Ce petit sanctuaire avec sa coupole hexagonale, recouverte d'ardoise et couronnée par une lanterne subit un incendie en 1936 et l'Archiconfrérie sacramentelle de Saint-Pierre, Saint-André et Saint-Isidore se chargèrent de sa reconstruction entre 1940 et 1941, d’après le modèle de 1724.

Tous les 15 mai, jour du patron de la capitale, San Isidro Labrador, une messe populaire est célébrée sur l'esplanade près de la chapelle, à laquelle assistent chaque année de nombreux fidèles. Les Madrilènes commémorent cette fête par un pèlerinage autour du sanctuaire, ils boivent l'eau de la source et pique-niquent aux alentours. La relique est vénérée à cette occasion et divers services liturgiques sont organisés. C’est l'une des fêtes les plus populaires et les plus traditionnelles de Madrid.