Эта церковь когда-то была частью старинного монастыря Святого Ерминингельда, основанного в 1586 году Николасом де Хесус-и-Мария. Чаще всего этот монастырь называли «Босоногим Кармелем», так как его насельниками были монахи ордена кармелитов.

Первое здание монастыря с церковью, сооруженной в 1605 году, снесли в XVIII веке. Постройка храма, сохранившегося до наших дней, началась в 1730 году на основе проекта Педро де Риберы. Завершилось строительство в 1748 году под руководством Хосе де Арредондо и Фаусто Мансо.

Церковь Святого Иосифа типична для мадридского барокко. Она имеет форму латинского креста с одним центральным и двумя боковыми нефами.

На фасаде, характерном для стиля Риберы, есть центральная ниша с образом Богоматери Кармельской работы французского скульптора Роберто Мишеля. Фасад здания был перестроен в 1912 году. Архитектор Хуан Мойя-и-Идигорас сделал его выше и расширил в обе стороны, чтобы пропорции здания стали более соразмерны с «домом приходского священника», выстроенным в честь открытия проспекта Гран-Виа.

В 1836 году после указа Мендисабаля о конфискации церковного имущества монахи-кармелиты были изгнаны и монастырь, а вместе с ним и церковь, опустели и долгое время не использовались. На протяжении нескольких лет в монастыре находилось Управление военной администрации, но затем его снесли и построили на его месте театр «Аполо», а позднее здание Бискайского банка. Оставшийся храм монастыря стал главной церковью прихода святого Иосифа и является ею и по сей день.