L'espace culturel Conde Duque offre plus de 58 777 m² d'infrastructures consacrées à la culture. Il dispose de plusieurs salles d'exposition, d'un auditorium et d'un théâtre où sont régulièrement présentés des spectacles de tous les arts de la scène. 

Derrière son imposante façade de couleur rose, les bâtiments du centre culturel abritaient autrefois une grande casernée créée en 1717 à la demande de Philippe V, premier roi de la dynastie des Bourbon en Espagne. Achevée en 1730, la Caserne royale des gardes du corps du roi peut être considérée comme le dernier grand exemple de l'architecture madrilène, avant l'introduction du style italien qui dominera à partir de la construction du Palais royal.

Connue sous le nom de "cuartel [caserne] del Conde Duque", elle est appelée ainsi en l'honneur du comte de Lemos et duc de Berwick y Liria (1718-1785), descendant des rois d'Angleterre marié à l'une des filles du duc d'Alba, dont la famille restera propriétaire du terrain jusqu'en 1943. Partiellement détruite en 1869 par un incendie, ce n'est qu'un siècle plus tard qu'elle est rachetée par la Mairie de Madrid pour être restaurée. En 1976, le bâtiment est déclaré Monument Historique et Artistique et c'est en 1983 qu'il devient un centre culturel. Entre 2005 et 2011 a lieu sa dernière restauration intégrale qui ramène toutes ses façades, extérieures et intérieures, à leur aspect d'origine en mettant en valeur la brique rose de ses murs. 

L’un des principaux centres culturels de Madrid

Conde Duque est l’un des trois grands espaces culturels urbains promus par la Direction générale des Arts, des Sports et du Tourisme de la mairie de Madrid, avec Matadero Madrid et CentroCentro. Le bâtiment abrite ainsi plusieurs institutions dépendantes de la Direction des bibliothèques, des archives et des musées, de la Direction du patrimoine et du paysage urbain ainsi que de la société publique Madrid Destino. Ce sont ces deux directions et cette société municipales qui gèrent directement l’activité du centre, sans interférer dans leurs domaines de spécialisation respectifs.

C’est ainsi que le centre abrite notamment le Patio nord, les Archives de la ville, l’Hémérothèque municipale, les salles d’expositions, le Musée d’art contemporain de Madrid et quatre bibliothèques : la bibliothèque publique Benito Pérez Galdós, la Bibliothèque historique municipale, la bibliothèque musicale Victor Espinós et la Digital Memoriademadrid.

Pour sa part le Centre de Culture Contemporaine Condeduque (qui appartient à la société publique Madrid Destino) est responsable des espaces suivants : le théâtre, la salle de conférence, l’auditorium, les salles de répétitions, la salle des voûtes, le Torreón (la tourelle), la salle polyvalente, le Patio sud et le Patio central.